tag-JAVA
文章平均质量分 83
candice廷
做一位出色的算法工程师
展开
-
spark上手系列一(常见问题,样例演示)
spark实例在现有的机器上完成的配置省略安装的过程,目前机器上安装的路径是 /opt/spark,记为SPARK_HOME=/opt/spark问题1:找不到对应的host机器 java.net.UnknownHostException: bjzw_102_229: bjzw_102_229 at java.net.InetAddress.getLocalHost(InetAddres原创 2016-11-30 11:33:02 · 1806 阅读 · 0 评论 -
消息队列-Kafka介绍
在现有的工程项目中,经常需要对用户的实时log进行处理,实时log主要是通过kafka进行记录,分两个部分,一部分通过kafka进行切片后存储在hdfs中,另一部分也可以提供实时的kafka数据,方便实时的处理,因此先简单介绍一下kafka的基本的工作原理消息队列:消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息转载 2016-11-25 20:09:05 · 2151 阅读 · 0 评论