![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Bigdata
trans_101010
这个作者很懒,什么都没留下…
展开
-
Flume HDFS Sink配置详解
Name Default Description channel – type – 组件的名称,必须为:HDFS hdfs.path – HDFS目录路径,例如:hdfs://namenode/flume/webdata/ hdfs.filePrefix FlumeData HDFS目录中,由Flume...转载 2018-08-28 15:17:27 · 454 阅读 · 0 评论 -
flume 写入kafka
#Testlog Testlog.sources = a1 Testlog.sinks = s2 Testlog.channels = c1 # Testlog-DB-Source Testlog.sources.a1.type = spooldir Testlog.sources.a1.spoolDir =/usr/tmp Testlog.sources.a1.inputCharset...原创 2018-08-28 15:39:30 · 869 阅读 · 0 评论 -
Hadoop分布式搭建
目录 1.准备虚假机,安装Linux 2.修改Ip 静态化 3.将zkpk账号添加到sudoers 4.修改 network 5.修改hostname 6.关闭虚拟机的防火墙 7.验证网络 8.免密登陆 9.安装并分发JDK 10.Zookeeper分布式安装 11.HDFS分布式安装 12.启动集群 13.验证 master 192.168.23.130 ...原创 2018-09-26 16:27:12 · 296 阅读 · 0 评论 -
Kafka 常用命令
1创建一个Topic bin/kafka-topics.sh --create --zookeeper slave2:2181,slave3:2181,slave4:2181 --replication-factor 1 --partitions 5 --topic test --config delete.retention.ms=172800000 2删除一个Topic(默认情况只是给...原创 2018-09-27 13:40:18 · 168 阅读 · 0 评论