GTmustang的博客

自动容灾和负载均衡自动容灾1 配置下游的两个采集方案1）hadoop02上配一个下游[root@hadoop02 ~]# mkdir flumeconf[root@hadoop02 ~]# vim ./flumeconf/processorDown1.properties#定义三大组件的名称 和关联a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.channels = c1a1.sinks.k1.channel = c

flume的选择器和拦截器1 flume的选择器flume的选择器是作用在source端，用于将不同event分发到不同的channel里，flume内置的选择器有两种，分别如下：Replicating：复用选择器，作用是将event拷贝到不同的channel里Multiplexing：多副路选择器，作用是根据不同的条件将不同的event分发到不同的channel里Replicating选择器的案例演示需求：将event拷贝到两个channel中，使用两个sink来各自接收一个channel的数

flume八种采集方案案例1）avro+memory+loggerlogger通常用于测试，数据流中的event最终显示在屏幕上1）采集方案的配置[root@hadoop01 ~]# mkdir flumeconf[root@hadoop01 ~]# vim ./flumeconf/avro-mem-logger.properties#定义三大组件的名称 和关联a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.chann

Hbase完全分布式搭建1 简要说明完全分布式，指的就是除了hmaster守护进程外，有多个regionserver守护进程，并且每一个regionserver守护进程独占一个机器节点。使用的文件系统是HDFS。布局如下：hadoop01: hmaster regionserverhadoop02: hmaster regionserverhadoop03: regionserver环境说明：必须配置好集群的免密登录认证必须配置时间同步。保证集群节点的时

hive窗口函数1.聚合函数over():指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化–eg:查询在2015年4月份购买过的顾客及总人数select name,count(*) over ()from tablename;where substring(orderdate,1,7) = '2015-04'2.partition by子句:将数据按照边界值分组–eg:看顾客的购买明细及月购买总额select name,orderdate,cost,sum(cost) o

Zookeeper安装1. 将zookeeper-3.4.10.tar.gz上传到/root中2. 解压 [root@hadoop01 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/3. 更名zookeeper [root@hadoop01 ~]# cd /usr/local/ [root@hadoop01 local]# mv zookeeper-3.4.10 zookeeper4. 配置环境变量 [root@had

Hadoop----->完全分布式集群的搭建在搭建伪分布式集群之前确保以下工作已经完成1.确保防火墙是关闭的.[root@hadoop01 ~]# systemctl disable firewalld.service2.NAT模式和静态IP的确定 （192.168.10.101）[root@qianfeng01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR=192.168.10.1013.确保/etc/hosts文

Hadoop----->伪分布式集群的搭建在搭建伪分布式集群之前确保以下工作已经完成1.确保防火墙是关闭的.[root@hadoop01 ~]# systemctl disable firewalld.service2.NAT模式和静态IP的确定 （192.168.10.101）[root@qianfeng01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33IPADDR=192.168.10.1014.确保/etc/hosts文件