Hadoop
二楼后座的香蕉园
我是一名热爱开源,喜欢技术分享的码农!
展开
-
Hadoop配置文件详解
1、core-site.xml文件 这是一个描述集群中NameNode结点的URI-统一资源标识符(包括协议,主机名称,端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被利用。独立的客户端程序通过这个URI跟DateNode交互,以取得文件的块列表。fs.default.name原创 2014-12-05 10:07:13 · 1149 阅读 · 0 评论 -
Spark与Hadoop MapReduce的对比分析
Spark与Hadoop MapReduce均为开源集群计算系统,但是两者适用的场景并不相同。其中,Spark基于内存计算实现,可以以内存速度进行计算,优化工作负载迭代过程,加快数据分析处理速度;Hadoop MapReduce以批处理方式处理数据,每次启动任务后,需要等待较长时间才能获得结果。在机器学习和数据库查询等数据计算过程中,Spark的处理素的可以达到Hadoop MapReduce原创 2014-12-31 14:17:24 · 3300 阅读 · 0 评论