张--小涛涛

原创 Web Service （014---webservice使用Jquery、Ajax请求WebService所遇到的跨域问题）

webservice使用Jquery、Ajax请求WebService所遇到的跨域问题

原创 Web Service （013---webservice使用Jquery、Ajax请求WebService）

AjaxJquery

原创 Web Service （012---webservice使用CXF写基于Spring的WebService[服务端+客户端]）

前言        在做java-ee项目时，候我们使用最多的就是Spring框架了，有了框架的帮助。我们可以省去很多力气开发出好的项目。接下来，我就说说怎么使用Spring框架+CXF开发一个见得的WebService。步骤一、        新建web项目二、        在lib下引入cxf和spring相关jar包三、        在项目src下新建co

原创 Web Service （011---webservice自定义拦截器）

自定义拦截器需要继承org.apache.cxf.phase.AbstractPhaseInterceptor 抽象类，并实现其handleMessage方法，与重写自定义的构造器（由于AbstractPhaseInterceptor 没有无参构造器，所以要在自定义构拦截器的造器中调用supper(带参数)）。部分代码public class AuthIntercetpr   

原创 Web Service （010---webservice拦截器）

一、相关概念二、代码示例服务端：package com.dataType;import java.util.List;import javax.xml.ws.Endpoint;import org.apache.cxf.interceptor.Interceptor;import org.apache.cxf.interceptor.LoggingInInte

原创 Web Service （009---webservice请求流程分析）

原创 Web Service （008---WebService WSDL文档分析）

一、文档图解二、文档实例

原创 Web Service （007---JAVA自动生成asp的WebService接口相关问题）

一、前言因为实际上我并没有天气预测的能力，因此，我的WebService实质上是请求公开的天气服务WebService得到天气情况，再转发出去。二、步骤1、进入

原创 Web Service （006---使用eclipse端口拦截器[TCP/IP Monitor]监视WebService请求）

一、说明首先，我们创建的WebService默认监听的是80端口，eclipse的TCP/IP Monitor不能监视80.所以我们需要使用TCP/IP Monitor监听8080端口，之后转发至80。那么问题来了。客户端代码是自动生成的，我们怎么指定客户端请求8080端口，而不是80端口呢？要解决这个问题，应该从wsdl文件入手。步骤如下：1、我们将WebService服务的ws

原创 Web Service （005---WebService简单实例）

服务端package com.webservice.HelloWorld;import javax.jws.WebMethod;import javax.jws.WebService;/** * SEI * webservice接口类，声明方法sayHello * @author ZhangJintao */@WebServicepublic interface Hell

转载 Web Service （004---WebService术语）

翻译 Web Service （003---WebService概念）

1、WebService是什么2、为什么使用WebService跨平台跨语言远程调用3、什么时候使用WebService

原创 Web Service （002---HTTP）

啊

原创 Web Service （001---schema）

<schema xmlns="http://www.w3.org/2001/XMLSchema" targetNamespace="http://www.atguigu.cn" elementFormDefault="qualified">

原创 大数据（021）Hive【Hive【DDL语句】】

----1、简单的建表语句【简单类型】----CREATE TABLE page_view (page_url STRING,ip STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'STORED AS TEXTFILE;--在/opt/sxt/soft/apache-hive-1.2.1-bin/hive

原创 大数据（020）Hive【Hive安装配置(远端数据库模式)】

远端mysql1.remote一体这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动meta服务。这里用mysql的测试服务器，ip位192.168.1.214，新建hive_remote数据库，字符集位latine1hive.metastore.warehouse.dir/user/

原创 大数据 （019）Hive【Hive安装配置(本地数据库模式)】

一、linux mysql基本操作1、启动数据库service mysqld start2、连接数据库mysql -uroot -p（密码为root）3、查找用户表在连接成功后，输入如下sqluse mysql；select user , host , password from user;【注：在hive中，我们还要执行{delete from use...

原创 大数据（018）Hive【Hive安装配置(本地derby模式)】

一、安装前准备 HIVE安装的前提是已经搭建起了一套Hadoop环境。我们将搭建的Hadoop环境起来。准备HIVE安装包。二、安装步骤 1、拷贝hive安装包至Hadoop集群中某个节点服务器上的某个目录。这里我将其拷贝至我node5节点机器的/opt/sxt/soft目录下 2、执行命令【tar -zxvf apache-hive-1.2.1-bin.tar....

原创 大数据（017）Hive【Hive介绍】

一、HIVE介绍 HIVE产生的目的：方便非java编程者对hdfs数据进行MapReduce操作 HIVE概念：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的M

原创 大数据 （016）Hadoop-MR编程 -- 【使用hadoop计算微博用户可能喜欢的关键词----编程】

一、前言 以微博为例，每个用户会发很多微博，其中包含了很多关键词信息。而这些关键词就是用户可能感兴趣的事物。我们需要用Hadoop MapperReduce计算出来。折旧引出了文档加权算法。其含义就是计算文档中某关键词的权重，我们使用该权重来判断某用户对某关键词的依赖程度。理想状况下，权重越高，用户越依赖于某关键词。其算法如下图所示。二、源数据 那么

原创 大数据 （015）Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----编程】

源码链接如下：https://download.csdn.net/download/jintaohahahaha/9933767源码截图：

原创 大数据（014）Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----概念】

一、什么是PageRankPageRPageRankankPageRank –PageRank是Google专有的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。 –是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的 –PageRank实现了将链接价值概念作为排名因素。二、原理

原创 大数据（013）Hadoop-MR编程 -- 【模拟qq推荐你可能认识的人】

一、数据准备xiaoming laowang ruhua linzhilinglaowang xiaoming fengjieruhua xiaoming ligang fengjielinzhiling xiaoming ligang fengjie guomeimeiligang ruhua fengjie linzhilingguomeimei fengjie linzhili

原创 大数据 （012）Hadoop-MR执行环境之---定义多个resuce task

引言 之前我们说道，默认情况下reduce task只有一个，当我们需要对大量数据进行统计时，一个reduce task已经捉襟见肘，那么我们就有必要配置多哦reduce task进行并行任务执行。实例 例子：我们有一个每年每月温度的统计数据需要进行分析。如下图数据。我们需要统计每年中每个月的最高温度的前三名。 自定义分

原创 大数据 （011）Hadoop-MR执行环境之---总述+本地测试环境讲解

总述 上一章中我们是本地开发好打jar包上传至服务器进行执行，但是开发过程中这样显然是行不通的，因此我们需要更多的执行环境。 MR执行环境有两种：本地测试环境，服务器环境一、本地测试环境 本地开发好环境是在windows下执行的。通过eclipse可以看到执行信息。二、服务器环境 首先需要在src下放置服务器上...

原创 大数据 （010）Hadoop-第一次使用eclipse&java&hadoop分析简单数据

一、打开eclipse二、新建java项目mapreducer三、项目下新建lib文件夹，导入hadoop相关jar，jar在源码中有四、项目下建包，写如下三个类1、WorldCountMapper.javapackage com.zjt.mapreducer.data;import java.io.IOException;import org.apache.had

原创 大数据 （009）Hadoop-使用eclipe插件操作HDFS

通过之前对HDFS、MapReduce的学习，我们了解到Hadoop也是需要编程的。那么使用java的我就产生了一个需求，在eclipse中对hadoop数据进行上传下载，以便于为进行测试。一、下载插件包 我这里使用的是eclipse luna版本，在网上下载eclipse相应插件包。我下的是hadoop-eclipse-plugin-2.5.1.jar。如下图

原创 大数据 （008）Hadoop-MapReduce 运行环境之 yarn环境搭建

一、进入hadoop配置文件目录，编辑yarn配置文件 vi /home/hadoop-2.5.1/etc/hadoop/yarn-site.xml二、将上述文件标签内容改为下方所示 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.ha.enabled

原创 大数据（007）Hadoop-MapReduce

一、MApReduce概念 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值

原创 大数据 （006）Hadoop-HDFS Federation

一、HDFS Federation 通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使到namenode/namespace可以通过增加机器来进行水平扩展。 能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候不会也降低HDFS的性能。可以通过多个namespace来隔离不同类型的应用，把不同类型应用的H

原创 大数据 （005）Hadoop-HDFS zookeeper和Hadoop-HDFS的集成

一、干掉masters文件 进入hadoop安装目录：/home/hadoop-2.5.1中的/etc/hadoop目录。删除masters文件 【因为引入keepalived之后，我们没有使用secondnamenode，因此不再需要masters文件】二、删除之前非HA的hadoop所有服务器上的数据文件 /home/hadoop-2.5三、编辑

原创 大数据（004）Hadoop-HDFS zookeeper的安装

zookeeper安装一、将zookeeper-3.4.6.tar.gz拷贝至linux的home目录中，使用 tar -zxvf 命令将其解压缩二、解压缩后，进入如下目录/home/zookeeper-3.4.6/conf，在此目录下新建zoo.cfg文件，编辑如下配置后保存退出。tickTime=2000dataDir=/home/zookeeperclientPor

原创 大数据 （003）Hadoop-HDFS namenode的HA --- zookeeper的引出

后Namenode两大功能：1、接收客户端读写服务2、存放元数据（元数据包括fsimage和edits，其中fsimage是namenode格式化时候产生的；edits是运行中实时产生、修改的）问题一：上图中NN Active和NN Standby是两个Namenode，其中NN Active为活动的Namenode，NN Standby是备份。但是两个Nameno

原创 大数据（002）Hadoop安装环境搭建【安装Hadoop】

Hadoop （二）Hadoop安装环境搭建（1）一、选择Primary Namenode和Secondary Namenode Primary Namenode和Secondary Namenode关系如下图所示：图1.1 SNN（Secondary Namenode）合并流程 由上图可知，Secondary Namenod

原创 大数据 （001）Hadoop安装前准备【服务器准备、linux免密登录、linux登录慢的解决】

Hadoop安装前准备【服务器准备、linux免密登录、linux登录慢的解决】一、安装在同一个局域网内的四个虚拟机，我这里四个虚拟机ip分别为192.168.1.201 ~ 192.168.1.204。如下图二、选取第一个linux（192.168.1.201）作为启动服务器，给其配置免密码登录。步骤如下：1、在启动服务器上（192.168.1.201）上生成秘钥

原创 全文检索技术 solr（003）solr安装、启动

1、将solr.war复制到tomcat的webapps目录下，启动tomcat2、关闭tomcat，删除掉tomcat的webapps目录下的solr.war3、在任意位置新建一个文件夹，并将下图文件复制进文件夹中4、打开tomcat中webapps目录下solr\WEB-INF\web.xml文件将其中被注释掉的代码段放开，并根据你刚刚建立的文件路径进行修改，如下

原创 全文检索技术 lucene（002） 自己动手写一个搜索引擎

项目点击下载。项目源码说明【文件文件说明】1、www.bjsxt.com为模拟爬虫趴下来的某网站2、lucene为项目【部署步骤】1、自己新建两个文件夹data和index，其中data放www.bjsxt.com ， index放置索引2、将lucene导入自己的intellig idea3、将 项目中indexDir和dataDir改为你的路径4

原创 全文检索技术 lucene（001） 一个简单的Demo

第一次接触全文检索，那就先来实现一个简单的demo一、准备文本源和索引区 要使用lucene进行全文检索，有以下几个步骤：1、针对文本源建立索引2、根据索引查询关键词。 因此我们需要一个文本源和索引区。其中文本源是搜索的目标、索引区是lucene针对搜索目标所建立的索引区域。在此，我将我的文本源和索引区目录分别定义为：E:/study/data、E:/stu

转载 写给大数据开发初学者的话 | 附教程

原文链接：http://bigdata.evget.com/post/407.html导读：第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初

原创 集群技术（008）nginx1.8 -- nginx+lvs(ip欺骗)实现上下行分离

一、前言： 现实中，我们使用nginx作为负载均衡，所有上行数据也要经过nginx传送至客户端。那么就存在nginx负载过大的问题。理想状态下，我们希望nginx只接受客户端传来的下行数据，上行数据的传输交给实际分流的各个服务器去完成。但这明显违反了三次握手协议，因此，我们使用lvs实现ip欺骗以达到目的。如下图所示。二、lvs概念三、