- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark上手系列一（常见问题，样例演示）
spark实例在现有的机器上完成的配置省略安装的过程，目前机器上安装的路径是 /opt/spark，记为SPARK_HOME=/opt/spark问题1：找不到对应的host机器 java.net.UnknownHostException: bjzw_102_229: bjzw_102_229 at java.net.InetAddress.getLocalHost(InetAddres
2016-11-30 11:33:02
1839
转载 消息队列-Kafka介绍
在现有的工程项目中，经常需要对用户的实时log进行处理，实时log主要是通过kafka进行记录，分两个部分，一部分通过kafka进行切片后存储在hdfs中，另一部分也可以提供实时的kafka数据，方便实时的处理，因此先简单介绍一下kafka的基本的工作原理消息队列：消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息
2016-11-25 20:09:05
2184
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人