集群配置
三台云主机搭建hadoop集群,zookeeper服务、Hbase、kafka。
节点 | 服务 |
---|---|
node002 | namenode,datanode,zkFC,zookeeper,HMaster ,HRegionServer,kafka Server |
node003 | namenode,datanode,zkFC,zookeeper,HMaster ,HRegionServer,Kafka Producter |
node004 | ,datanode,zookeeper,kafka ,HMaster ,HRegionServer,Kafka Consumer |
kafka Server 启动内存最高256,最低128,Producter与Consumer都是128M这样分配下来2G内存只剩下了500m左右,因为后面还要启动sparkStructed Streaming。
kafka 配置
安装
因为前面搭建hadoop,hbase,hive吃过不少版本兼容的亏,所以在下载前确定了一下当前的版本。因为kafka主要是搭配sparkSQL使用,所以首先通过spark的兼容,打开github的spark项目的pom文件得到看到kafka的版本<<module>external/kafka-0-10-token-provider</module> <module>external/kafka-0-10</module> <module>external/kafka-0-10-assembly</module>