kafka
阿豪963
这个作者很懒,什么都没留下…
展开
-
Kafka集群搭建
Kafka集群搭建Kafka初识Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题:我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行统计,分析出当前的流行趋势有些数据,存储数据库浪费,直接存储硬盘效率又低这些场景都有一个共同点:数据是由上游模块产生,上游模块,使用上游模块的数据计算、统计、分析,这个时候就可以...转载 2018-07-11 02:03:05 · 3125 阅读 · 0 评论 -
logs滚动导入到flume+kafka
1 centeros7时间同步删除本地时区#rm -rf /etc/localtime设置时区cp /usr/share/zoneinfo/Asia/Shanghai/etc/localtime安装ntp,同步时间yum install -y ntp同步时间ntpdate time.nist.gov格式化查看时间 date "+%Y/%m/%d %H:%M:%S"2 使用cron执行任务计划...原创 2018-07-11 21:38:00 · 229 阅读 · 0 评论 -
Maven构建SparkStreaming+ Kafka消费者代码, 在Spark集群上运行
1 编写pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="原创 2018-07-12 17:03:13 · 3687 阅读 · 0 评论