hadoop
cjrjc
我的小目标:北京有套房
展开
-
Kafka 的优化及在商业平台中的应用
问题导读:1.怎样保证保证Kafka端到端的消息可靠性?2.怎样防止由于越权导致数据方面的问题?3.怎样设计Kafka应用架构?端到端的消息可靠性机制的保证此处端到端的消息可靠性指生产者生产的消息,一定可以被消费者所消费。在 Kafka 典型的应用场景中,它包含三个层面的意思:1,在绝大部分场景下,生产者产生的消息能够发布到 Kafka Broker 集群上转载 2017-11-15 21:03:24 · 1113 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3转载 2017-11-15 21:02:01 · 190 阅读 · 0 评论 -
eclipse运行hadoop的job提示Invalid host name: local host is: (unknown)
hadoop集群的namenode安装在centos65上,主机名为CentOS65App,同时在CentOS65App上也安装了eclipse,在eclipse中运行hadoop的Job代码,提示Exception in thread "main" java.net.UnknownHostException: Invalid host name: local host is: (unknown)...原创 2018-02-27 22:20:21 · 4968 阅读 · 2 评论 -
别再比较Hadoop和Spark了,那不是设计人员的初衷
转自 http://www.huochai.mobi/p/d/3967708/?share_tid=8a45e6730b9e&fmid=10786192对Hadoop与Spark孰优孰劣这个问题,最准确的观点就是,设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。比如说,Spa...转载 2018-03-06 17:28:28 · 157 阅读 · 0 评论