![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
redstarofsleep
这个作者很懒,什么都没留下…
展开
-
spark独立集群管理器的安装配置
我是在ubuntu14.04上安装配置spark的。spark的版本是2.3.0。首先是很重要的准备工作,配置各台机器的主机名hostname。可先输入命令hostname查看机器的当前主机名。编辑/etc/hostname,修改主机名,每台机器都改成不一样的。改完后再输入hostname查看,会发现没变,改了这个文件是要重启后才会变的。直接执行hostname <主机名>即可...原创 2018-07-19 09:49:44 · 965 阅读 · 0 评论 -
spark streaming流式处理kafka中的数据(java)
spark streaming是spark中用来处理流式数据的,用来对接各类消息队列是极好的。spark streaming并不是真正实时的流式处理,它本质上还是批处理,只是每一个批次间隔的时间很短。我是用java来写的。跟大佬们的scala不能比,没有scala简洁。。先是maven需要依赖的spark-kafka包:<dependency> <gro...原创 2018-07-19 10:39:11 · 6587 阅读 · 2 评论