wsjslient的博客

文章目录前言：思路分析包结构一、poml二、读写接口2.1 Read2.2 Write三、读Kafka3.1 KafkaUtils3.2 KafkaReadImpl四、写HBase4.1 HBaseConf4.2 HBaseUtils4.3 UsersImpl五、application运行5.1 NormalFactory5.2 AppTest前言：思路分析a.读写分别对应不同的操作，这里定义两个接口，分别对应读写操作；b.读取Kafka数据，这里接口参数设置两个，一个是Properties，另外一

目录Linking DenpencyCommon WritingLinking Denpencypoml依赖<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.targe

安装目录前言一、解压安装包二、编辑配置三、配置环境变量四、测试服务五、Kafka常用指令前言本次安装的Kafka version:kafka_2.11-2.0.0.tgzKafka安装包下载：官网源下载一、解压安装包#解压安装包[root@sole download]# tar -xvf kafka_2.11-2.0.0.tgz -C /opt/software/#重命名安装包[root@sole software]# mv kafka_2.11-2.0.0/ kafka211200

目录一、写入kafkaLinking DenpencyCode一、写入kafkaLinking Denpency导入poml依赖：<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11&

目录前言一、Receiver接收方式(了解)二、Direct直连方式(掌握)2.1 实例演示2.1.1 MAVEN LINKING2.1.2 创建Scala Objecta. LocationStrategiesb. ConsumerStrategies前言        在Spark1.3版本后，KafkaUtils里面提供了两个创建dstream的方法，一种为KafkaUtils.createDstream，另一种为

目录一、为什么集成flume和kafka?二、Flume+Kafka实战2.1 Flume配置2.2 Kafka配置2.3 开启消费端，并执行Agent任务2.4 数据检查三、问题总结一、为什么集成flume和kafka?       一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，前台可能有多个Flume端采集数据向存储服务器扔，这时数据采集速度过快，而一旦数据处理速度无法跟上采集速度，很容易造成数据堆积或数据丢

这里写目录标题kafka高吞吐一、顺序读写：sequence IO二、零拷贝：无第三方存储，通道对拷（java nio的写法）三、日志分段及消息查找a.日志分段b.消息查找四、批处理五、数据压缩：gzip,snappy,lz4kafka高吞吐一、顺序读写：sequence IO磁盘的特性：快速顺序读写、慢速随机读写。磁盘是典型的IO块设备，每次读写都会经历寻址，其中寻址中寻道是比较耗时的。随机读写会导致寻址时间延长，从而影响磁盘的读写速度；Kafka在将数据持久化到磁盘时，采用只追加的顺序写，Ka