wsmlhxwt777-CSDN博客

原创 zuul上传中文文件乱码解决.

项目中用到zuul，不起网关上传文件不会出现中文乱码，经过网关处理后，中文都变成??.查了好久的解决方案都是在url加前缀/zuul来访问。这样确实可以解决问题。但是项目很多定义给客户端访问的api都已经成型，让其他客户端修改访问的url是不可能的。网关这里将所有带/zuul请求的请求都走zuulservlet，不带zuul的请求都走spring mvc的dispatchservlet，所以后来的

2018-01-29 10:16:34 2889

原创 flume

flume：分布式、高可用日志收集工具。source:数据来源，大致分主动与被动两种。主动是Agent自己去拿的，被动是启动一个服务通过监听一个端口被动接收数据。channel:可以理解缓冲区。sink:一般是数据去处的客户端，像发送到kafka。环境搭建：1.解压tar -xzvf apache-flume-1.7.0-bin.tar2.进入安装的conf目录

2017-04-30 14:51:11 382

原创 hbase学习01-集群搭建

1.解压tar -zxvf hbase-**-bin.tar.gz2.配置环境变量3.vim conf/hbase-site.xml hbase.rootdir hdfs://node01:8020/hbase hbase.cluster.distributed true hbase.zookeeper.quorum

2017-03-26 15:05:17 293

原创 hive实践01

一.入门demo1.1.create table u_data(userid Int,movieid Int,rating Int,unixtime String)row format delimitedfields TERMINATED by '\t'stored as textfile;1.2.获取GroupLens数据集页面wget http://

2017-02-26 23:26:31 305

原创初探hive

一.什么是hivehive是基于hadoop的数据仓库工具，数据仓库一般是用来做查询分析的数据库，基本不用插入、修改、删除操作；它可以将结构化的数据文件映射为一张数据库表，并提供sql查询，将sql转换成mapreducer任务进行运行。hive用HDFS进行存储，利用MapReduce进行计算。二.hive架构1.hive提供3个用户接口:CLI,Client和WEB UI

2017-02-26 16:04:02 333

原创基于hadoop2.5提交mapreduce任务的几种方式

方式一（服务器环境下）：1.将写好的程序打成jar包（只要源码就行）。2.将jar上传到集群任意一台节点，执行如下命令:hadoop jar wordCount.jar com.wt.wordcount.RunJob方式二(本地直接调用，执行过程在服务器上)：1.要在src下放置服务器上的hadoop配置文件：core-site.xml,hdfs-site.xml,ma

2017-02-14 10:29:56 3574

原创搭建yarn方式管理hadoop2.x

yarn负责集群资源管理，用yarn方式管理mapreducer:客户端提交jar至resourcemanager,resourcemanager分发jar包，NodeManager中的App Mstr组件负责执行，并向resourcemanger请求资源，App Mstr执行的状态向nodemanager汇报。nodemanager（负责任务的调度和执行）与datanode在同一台机器上

2017-02-13 10:39:41 274

原创 zookeeper+hadoop2.X HA集群搭建

前期准备：1.VM准备4台centenOs虚拟节点,主机名分别为:node01,:node02,node03,node04.2.ssh免密登录,node01能ssh登录其他三台包括自己，node04能ssh登录自己和node01.3.安装jdk1.7.配置环境变量。具体搭建如下：一.搭建zookeeper集群(node01,node02,node03)1.1解压并在no

2017-02-13 10:00:14 399

原创算法003-插入排序

插入排序的核心思想就是局部有序，后面的数再在这个局部有序中找到自己合适的位置。public void inserSort(){int out,in; for(out=1;out<a.length;out++){ //从下标为0第一个数开始，做为局部有序，未局部有序的数的个数。 int temp = a[out]; in = out; while(in>0&&a

2016-11-07 10:45:51 239

原创 Linux-本地时间服务器搭建

假设两台服务器A,B，A能访问外网，B不能，所以现在需要B的时间与全球时间同步，所以现需要将A配置一台时间服务器，让B访问A来达到同步时间效果；在A服务器（局域网内的时间服务器）操作如下：1.检查服务器是否安装软件：rpm -qa | grep ntp；2.备份配置文件：cp /etc/ntp.conf /etc/ntp.conf_bak3.修改ntp.conf文件：

2016-11-01 16:29:38 837

原创算法002-选择排序

选择排序的核心思想是：假设从第一个位置开始，每次看它后面的所有位置是否有比这个位置小的值，若有交换位置;然后继续第二位置...public void selectionSort(long[] a){ int out,in,min; for(out=0;out<a.length-1;out++){//外层循环：定位这个位置上的最小值跟后面的 min = out; for(in

2016-11-01 10:11:08 251

原创算法001-冒泡算法

冒泡算法核心：从第一个位置开始两两比较，看是否交换位置，比较完后，向右移动一个位置继续与相邻的右边的数两两比较；一趟下来得到能得到最大的数并固定，后续该数不再参与；public void bubbleSort(){int out,in; //out,[2,最后一个小标] ：两两比较的次数for(out=nElems-1;out>1;out--){for(in=0;in

2016-10-31 16:28:13 332

wsmlhxwt777的博客