![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 84
??????ing
这个作者很懒,什么都没留下…
展开
-
使用Storm实现实时大数据分析
Storm对比Hadoop的批处理,Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop一样Storm也可以处理大批量的数据,然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时;也就是说,所有的信息都会被处理。Storm同样还具备容错和分布计算这些特性,这就让Storm可以扩展到不同的机器上进行大批量的数据处理。他同样还有以下的这些特性:易于扩展。对于扩转载 2015-03-25 09:54:25 · 376 阅读 · 0 评论 -
MapReduce详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习hdfs时候我就发现,要理解hadoop框架原创 2015-03-23 18:36:40 · 384 阅读 · 0 评论 -
hadoop常见问题及解决办法(一)
我们经常会遇到一些问题,而且可能会重复性遇到,这些方案可以收藏为以后备用。我们经常遇到如下问题:1.两次以上格式化造成NameNode 和 DataNode namespaceID 不一致,有几种解决办法?2.如何动态添加DataNode 动态将某个节点加入到集群中3.用window 提交eclipse 任务发现权限不通过:4.eclipse 运行中发现 Name node原创 2015-03-18 15:26:17 · 1193 阅读 · 0 评论 -
hadoop常见错误及解决办法(二)
问题导读:1.遇到问题该如何排除错误?2.看不到namenode的可能原因是什么?3.地址占用该如何解决?4.could only be replicatied to 0 nodes, instead of 1的可能原因是什么,该如何解决?5.通过localhost.localdomain根本无法映射到一个IP地址,会报什么错误?遇到问题以后先查看日原创 2015-03-18 15:26:19 · 730 阅读 · 0 评论 -
hadoop常见错误及解决办法(三)
问题导读:1.... could only be replicated to 0 nodes, instead of 1 ...可能的原因是什么?2.Error: java.lang.NullPointerException错误的可能原因是什么?3.hadoop数据类型与Java数据类型不一致会产生什么错误?新手搞hadoop最头疼各种各样的问题了,我把原创 2015-03-18 15:28:46 · 746 阅读 · 0 评论