电商数仓1
用户行为采集1
佑熙
这个作者很懒,什么都没留下…
展开
-
9(12)消费Kafka数据Flume12
2)Flume的具体配置如下:(1)在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件[atguigu@hadoop104 conf]$ vim kafka-flume-hdfs.conf在文件配置如下内容组件a1.sources=r1 r2a1.channels=c1 c2a1.sinks=k1 k2sour...原创 2020-04-09 14:04:31 · 222 阅读 · 0 评论 -
9(11)项目经验之Kafka11
4.5.11项目经验之Kafka压力测试1)Kafka压测用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO)。一般都是网络IO达到瓶颈。kafka-consumer-perf-test.shkafka-producer-perf-test.sh2)Kafka Producer压力测试(1)在/opt/module/...原创 2020-04-09 13:54:09 · 100 阅读 · 0 评论 -
9(10)Kafka Manager10
4.5.9Kafka Manager安装Kafka Manager是yahoo的一个Kafka监控管理项目。1)下载地址https://github.com/yahoo/kafka-manager下载之后编译源码,编译完成后,拷贝出:kafka-manager-1.3.3.22.zip2)拷贝kafka-manager-1.3.3.22.zip到hadoop102的/opt/module...原创 2020-04-09 13:53:24 · 174 阅读 · 0 评论 -
(9)kafka操作9
4.5.3查看Kafka Topic列表[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list4.5.4创建Kafka Topic进入到/opt/module/kafka/目录下分别创建:启动日志主题、事件日志主题。1)创建启动日志主题[atguigu@hadoop102 kafka...原创 2020-04-09 13:52:29 · 84 阅读 · 0 评论 -
(8)kafka8
-rw-r–r--. 1 hadoop hadoop 42136632 Oct 18 12:42 kafka_2.11-0.11.0.2.tgz-rw-r–r--. 1 hadoop hadoop 79630940 Oct 18 12:43 kafka-manager-1.3.3.22.zip[hadoop@hadoop102 /opt/software]tar−zxvfkafka2.11−0...原创 2020-04-09 13:51:39 · 143 阅读 · 1 评论 -
(7)flume7
-rw-r–r--. 1 hadoop hadoop 55711670 Oct 18 12:40 apache-flume-1.7.0-bin.tar.gz2.2 安装部署1)将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下2)解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[atg...原创 2020-04-09 13:50:47 · 91 阅读 · 0 评论 -
(6)日志生成/集群脚本6
4.3 日志生成4.3.1日志启动1)代码参数说明// 参数一:控制发送每条的延时时间,默认是0Long delay = args.length > 0 ? Long.parseLong(args[0]) : 0L;// 参数二:循环遍历次数int loop_len = args.length > 1 ? Integer.parseInt(args[1]) : 1000;...原创 2020-04-09 13:49:57 · 422 阅读 · 2 评论 -
(5)Zookeeper安装5
-rw-r–r--. 1 hadoop hadoop 35042811 Oct 18 12:41 zookeeper-3.4.10.tar.gzcd /opt/softwaretar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/cd /opt/module/zookeeper-3.4.10/[hadoop@hadoop102 /opt/modu...原创 2020-04-09 13:49:01 · 145 阅读 · 0 评论 -
(4)hadoop经验4
4.1.1项目经验之HDFS存储多目录1)确认HDFS的存储目录,保证存储在空间最大硬盘上2)在hdfs-site.xml文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群dfs.datanode.data.dirfile:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,fi...原创 2020-04-09 13:48:11 · 120 阅读 · 0 评论 -
(3)hadoop3
-rw-r–r--. 1 hadoop hadoop 185515842 Oct 18 12:42 jdk-8u144-linux-x64.tar.gz-rw-r–r--. 1 hadoop hadoop 197657687 Oct 18 12:42 hadoop-2.7.2.tar.gzyum -y remove javarm -rf /usr/bin/javatar -zxvf jdk...原创 2020-04-09 13:47:00 · 52 阅读 · 0 评论 -
(2)网络及ssh2
vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=noBOOTPROTO=staticIPADDR=192.168.10.104PREFIX=24GATEWAY=192.168.10.1DNS1=114.114.114.114DNS2=114....原创 2020-04-09 13:45:50 · 93 阅读 · 0 评论