电商数仓1
用户行为采集1
佑熙
这个作者很懒,什么都没留下…
展开
-
9(12)消费Kafka数据Flume12
2)Flume的具体配置如下: (1)在hadoop104的/opt/module/flume/conf目录下创建kafka-flume-hdfs.conf文件 [atguigu@hadoop104 conf]$ vim kafka-flume-hdfs.conf 在文件配置如下内容 组件 a1.sources=r1 r2 a1.channels=c1 c2 a1.sinks=k1 k2 sour...原创 2020-04-09 14:04:31 · 193 阅读 · 0 评论 -
9(11)项目经验之Kafka11
4.5.11项目经验之Kafka压力测试 1)Kafka压测 用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO)。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 2)Kafka Producer压力测试 (1)在/opt/module/...原创 2020-04-09 13:54:09 · 90 阅读 · 0 评论 -
9(10)Kafka Manager10
4.5.9Kafka Manager安装 Kafka Manager是yahoo的一个Kafka监控管理项目。 1)下载地址 https://github.com/yahoo/kafka-manager 下载之后编译源码,编译完成后,拷贝出:kafka-manager-1.3.3.22.zip 2)拷贝kafka-manager-1.3.3.22.zip到hadoop102的/opt/module...原创 2020-04-09 13:53:24 · 146 阅读 · 0 评论 -
(9)kafka操作9
4.5.3查看Kafka Topic列表 [atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 4.5.4创建Kafka Topic 进入到/opt/module/kafka/目录下分别创建:启动日志主题、事件日志主题。 1)创建启动日志主题 [atguigu@hadoop102 kafka...原创 2020-04-09 13:52:29 · 78 阅读 · 0 评论 -
(8)kafka8
-rw-r–r--. 1 hadoop hadoop 42136632 Oct 18 12:42 kafka_2.11-0.11.0.2.tgz -rw-r–r--. 1 hadoop hadoop 79630940 Oct 18 12:43 kafka-manager-1.3.3.22.zip [hadoop@hadoop102 /opt/software]tar−zxvfkafka2.11−0...原创 2020-04-09 13:51:39 · 133 阅读 · 1 评论 -
(7)flume7
-rw-r–r--. 1 hadoop hadoop 55711670 Oct 18 12:40 apache-flume-1.7.0-bin.tar.gz 2.2 安装部署 1)将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下 2)解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下 [atg...原创 2020-04-09 13:50:47 · 80 阅读 · 0 评论 -
(6)日志生成/集群脚本6
4.3 日志生成 4.3.1日志启动 1)代码参数说明 // 参数一:控制发送每条的延时时间,默认是0 Long delay = args.length > 0 ? Long.parseLong(args[0]) : 0L; // 参数二:循环遍历次数 int loop_len = args.length > 1 ? Integer.parseInt(args[1]) : 1000; ...原创 2020-04-09 13:49:57 · 360 阅读 · 2 评论 -
(5)Zookeeper安装5
-rw-r–r--. 1 hadoop hadoop 35042811 Oct 18 12:41 zookeeper-3.4.10.tar.gz cd /opt/software tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ cd /opt/module/zookeeper-3.4.10/ [hadoop@hadoop102 /opt/modu...原创 2020-04-09 13:49:01 · 117 阅读 · 0 评论 -
(4)hadoop经验4
4.1.1项目经验之HDFS存储多目录 1)确认HDFS的存储目录,保证存储在空间最大硬盘上 2)在hdfs-site.xml文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群 dfs.datanode.data.dir file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,fi...原创 2020-04-09 13:48:11 · 112 阅读 · 0 评论 -
(3)hadoop3
-rw-r–r--. 1 hadoop hadoop 185515842 Oct 18 12:42 jdk-8u144-linux-x64.tar.gz -rw-r–r--. 1 hadoop hadoop 197657687 Oct 18 12:42 hadoop-2.7.2.tar.gz yum -y remove java rm -rf /usr/bin/java tar -zxvf jdk...原创 2020-04-09 13:47:00 · 45 阅读 · 0 评论 -
(2)网络及ssh2
vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=no BOOTPROTO=static IPADDR=192.168.10.104 PREFIX=24 GATEWAY=192.168.10.1 DNS1=114.114.114.114 DNS2=114....原创 2020-04-09 13:45:50 · 86 阅读 · 0 评论