wanjialin的博客

概述：spark-streaming-kafka-0-8_2.11 有两种方式连接Kafka，一种是Receiver，另一种是Direct。Receiver实现：def main(args: Array[String]): Unit = { //创建配置对象文件 val conf: SparkConf = new SparkConf().setAppName("SparkStreaming_Demo04").setMaster("local[*]") //创建SparkStr

命令：Kafka依赖于zookeeper，所以需要先启动zookeeper。zkServer.sh start启动Kafkakafka-server-start.sh /opt/soft/kafka211/config/server.properties 或nohup kafka-server-start.sh /opt/soft/kafka211/config/server.properties &关闭Kafkakafka-server-stop.sh /opt/soft/kaf

准备工作：1、创建表启动Hbase，命令start-hbase.sh。在Hbase中，创建一个命名空间，并创建一张表。命名空间create_namespace 'events_db'train表create 'events_db:train','eu'2、源数据的处理通过flume将日志数据写入到Kafka的主题中。操作链接操作步骤：分为4大模块，handler、worker、writer和test测试模块1、handler模块：返回一个Put类型的集合接口：public inte

环境准备：涉及到的技术有flume，Kafka，zookeeper。操作步骤：1、构建agenttrain.sources=trainSourcetrain.channels=trainChanneltrain.sinks=trainSinktrain.sources.trainSource.type=spooldirtrain.sources.trainSource.spoolDir=/opt/kb15tmp/flumelogfile/traintrain.sources.trainS

jar包下载：官方下载链接集群部署操作步骤：1、通过xftp将kafka安装包上传到Linux中，版本是kafka_2.11-2.4.1.tgz2、解压缩tar -zxf kafka_2.11-2.4.1.tgz -C ../soft/3、为了方便以后使用，将解压缩后的文件夹修改名字，mv kafka_2.11-2.4.1 kafka2114、在Kafka目录下创建logs文件夹mkdir logs5、配置server.properties已注明行号#broker的全局唯一编号，不能重复

Kafka简述：Kafka是一个分布式的基于 分布/订阅模式的消息队列。Kafka特性：1、多个生产者和多个消费者2、可持久化操作3、高吞吐量4、可伸缩性5、实时性6、容错性Kafka安装前准备工作：1、安装配置好jdk，如果不会安装可以跳转到脚本安装jdk保姆级教程2、搭建配置好Hadoop，如果不会配置安装可以跳转到Hadoop配置保姆级教程3、搭建配置好zookeeper，如果不会安装可以跳转到zookeeper集群搭建及启动脚本Kafka安装操作步骤：1、通过xftp将k