![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 92
拜拜了拜拜
这个作者很懒,什么都没留下…
展开
-
hadoop2.6.0 nodemanager启动后过一段时间就自动关闭
hadoop2.6.0 nodemanager启动后过一段时间就自动关闭 hadoop2.6.0集群启动后,在slave节点上jps能够看到nodemanager进程,但是过一会nodemanager进程就不见了.查看日志发现是因为配置错误导致的,更改后所有的配置文件内容如下:(更改配置文件后,要删除之前配置文件里设置的相关目录里面所有的内容转载 2017-07-05 10:41:53 · 1231 阅读 · 0 评论 -
Linux下使用Eclipse开发Hadoop应用程序
Linux下使用Eclipse开发Hadoop应用程序 在前面一篇文章中介绍了如果在完全分布式的环境下搭建Hadoop0.20.2,现在就再利用这个环境完成开发。 首先用hadoop这个用户登录linux系统(hadoop用户在前面一篇文章中创建的),然后下载eclipse的tar.gz包到/home/hadoop/这个目录下,直接解压缩,于是就会存在/home/hadoop/e转载 2017-06-30 11:07:10 · 595 阅读 · 0 评论 -
Hadoop入门之安装配置(hadoop-0.20.2)
Hadoop入门之安装配置(hadoop-0.20.2) Hadoop,简单理解为HDFS(分布式存储)+Mapreduce(分布式处理),专为离线和大规模数据分析而设计。 Hadoop可以把很多linux的廉价PC组成分布式结点,然后编程人员也不需要知道分布式算法之类的,只需根据mapreduce的规则定义好的接口方法,剩下的就交给hado转载 2017-06-30 11:03:29 · 493 阅读 · 0 评论 -
Hadoop详解一:Hadoop简介
Hadoop详解一:Hadoop简介 从数据爆炸开始。。。一、 第三次工业革命 第一次:18世纪60年代,手工工厂向机器大生产过渡,以蒸汽机的发明和使用为标志。 第二次:19世纪70年代,各种新技术新发明不断被应用于工业生产,以电力的发明使用为标志。 第三次:20世界四五十年代末,以转载 2017-06-30 08:51:09 · 522 阅读 · 0 评论 -
一篇很好的Hadoop入门文章:Hadoop是什么、核心HDFS与MapReduce的原理
Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源转载 2017-07-06 08:44:02 · 471 阅读 · 0 评论 -
Centos-6.8 Hadoop完全分布式搭建
1.下载:https://dist.apache.org/repos/dist/release/hadoop/commo2.详解:http://blog.csdn.net/aircraftxjd/article/details/44624219一,安装环境1.虚拟机:VMware-12.5.22.操作系统:linux CentOs-6.8 64位3.Jdk:jdk-7u79 6...原创 2017-07-08 16:04:49 · 925 阅读 · 1 评论