hadoop
坏牧羊人2596
这个作者很懒,什么都没留下…
展开
-
远程HDFS文件的操作
因为手头项目涉及到远程HDFS文件的操作,所以打算学习一下相关操作。目前,网络上有很多操作HDFS文件的代码,但是它们基本上都没有描述清楚Configuration相关问题。经过摸索,终于实现远程HDFS文件读写的完整流程,在此希望各位看官交流学习。 HDFS文件操作依赖的jar包是通过maven下载的,其相关依赖如下:<dependencies> <dependency>原创 2016-09-12 23:19:09 · 7516 阅读 · 0 评论 -
完全分布式模式hadoop集群(hadoop2.7.3)
基于CentOS6.5 + Hadoop2.7.3搭建hadoop集群,搭建过程中必须注意防火墙的影响。原创 2017-03-27 22:05:41 · 421 阅读 · 0 评论 -
Hadoop1.x与Hadoop2.x的区别?
Hadoop--解读大数据雪崩的解决方案,从谷歌2003年发布论文和2004年MapReduce论文开始已经走过了漫长的道路。它通过横向扩展而不是扩展战略创造了波澜。来自Doug Cutting以及雅虎和Apache Hadoop项目团队的进展推动了MapReduce编程的普及 - 这种编程适用于I / O密集型数据处理,不适用于交互式分析、迭代计算(Spark更好)、流式计算(Storm更好)方...翻译 2018-07-18 22:14:11 · 872 阅读 · 0 评论