spark
小米吃辣椒2022
本人毕业于湖北工业大学,目前已有7年的工作经验,先后涉猎于电商,农业大数据,智慧停车,城市智慧大脑,公安指挥调度,海康云商电商平台,智慧物流等软件开发行业,目前就职于稳健医疗java全栈工程师岗位,负责智慧物流产品百台服务器核心架构设计及研发工作,对多线程,高并发,架构设计,应用虚拟容器,微服务,数据库中间件,消息中间件以及大数据生态圈,web前端技术有丰富的认知和开发经验。
展开
-
spark streaming 整合 flume两种方式 push 和 pull
一、push 方式 :spark streaming 整合 flume 配置开发cd $FLUME_HOMEcd conf编写 flume配置文件, vim flume_push_streaming.confsimple-agent.sources = netcat-sourcesimple-agent.sinks = avro-sinksimple-age...原创 2019-01-03 15:22:45 · 1256 阅读 · 0 评论 -
spark streaming 整合 kafka 两种 Receiver-based 和 Direct Approach
一、Receiver 方式整合 spark streaming 和 kafka启动zookeeperzkServer.sh start启动kafka :kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties创建topic:kafka-topics.sh --create --zooke...原创 2019-01-03 17:33:17 · 1151 阅读 · 0 评论 -
基于CentOS6.4环境编译Spark-2.1.0源码
基于CentOS6.4环境编译Spark-2.1.0源码 1 写在前面的话有些小伙伴可能会问:Spark官网不是已经提供了Spark针对不同版本的安装包了吗,我们为什么还需要对Spark源码进行编译呢?针对这个问题我们到Spark官网: spark.apache.org来看下,如下图所示:Spark官网的确是提供了一些Hadoop版本的Spark安装包,但是提供的这些是否能够满...原创 2019-01-02 14:39:59 · 1061 阅读 · 0 评论 -
spark 环境搭建
一、spark 安装 配置 基于上一篇博客 CentOS6.4环境编译Spark-2.1.0源码,将编译出来的spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz进行解压,并配置环境变量。执行 spark-shell --master local[2] 命令,看到如图所示界面 说明安装成功:本地模式二、从词频统计着手入门sparkpackage org....原创 2019-01-02 19:08:07 · 1061 阅读 · 0 评论 -
Spark Streaming 进阶实战五个例子
一、带状态的算子:UpdateStateByKey实现 计算 过去一段时间到当前时间 单词 出现的 频次object StatefulWordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[2]").setAppName("Stat...原创 2019-01-03 13:46:53 · 1472 阅读 · 0 评论 -
spark streaming 实时流处理项目实战
spark streaming 实时流处理项目实战一、 编写python 日志产生脚本,并使用linux 的crontab 命令 一分钟执行一次tool.lu/crontab 网站 可以测试 cron表达式cd /home/hadoop/data/project将以下python 脚本放到...原创 2019-01-24 10:57:06 · 2683 阅读 · 3 评论 -
spark streaming 整合flume ,kafka 打造通用流处理
一、编写LoggerGenerator.java文件用于生成日志信息添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender&...原创 2019-01-14 21:25:38 · 1364 阅读 · 0 评论