![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 71
ajax_cn_cn
这个作者很懒,什么都没留下…
展开
-
测试Hadoop的启动顺序及遇到的问题
测试环境: 一个namenode 一个secondary namenode,以实现namenode的HA 三个datanode节点 两个RM,以实现Resource Manager的HA 共部署了7个虚拟机,操作系统是Ubuntu 14. 所有虚拟机是在本机加载,所以为了节省资源,Zookeeper分别部署在三个datanode节点上。 Hadoop的sbin目录下的star...原创 2016-05-02 20:30:58 · 1731 阅读 · 0 评论 -
Hadoop1.0部署的各种坑及解决之道
2015年由于对公司请的外部的大数据讲师的水平实在不敢恭维,所以就准备搭个环境熟悉一下环境,进步研究一下源代码。所以在本机搭了几个虚拟机,分别对应namenode,datanode(3),secondarynamenode。当时部署的时候使用的是1.0的稳定版本,但是各种坑。耐着性子一点点调试下,也就顺手记在一个word文档里。最近忽然有写博客的念头,就先把手头上有的东西先发上来。 ...原创 2016-04-06 22:28:22 · 305 阅读 · 0 评论 -
Hadoop2.7.1安装的一些坑
1. 在/etc/profile里更新了JDK的版本,因为Hadoop2.7只能使用JDK1.7,更新后,需要即时更新,可以使用命令>. /etc/profile. 2. hadoop 2.7 的Eclipse plugin没有测试成功,但是Hadoop官方网站已经提供了开发工具,实际上也是一个Eclipse的plugin(http://hdt.incubator.apache.o...原创 2016-04-06 23:21:10 · 234 阅读 · 0 评论 -
给公司研发部门培训的HDFS的PPT文档及问题答疑
之前的一篇博客说到,公司请的大数据培训师那简直一个差啊,就差直接说自己是骗子。忍无可忍之下,搭建了个环境,简单跑了一下,然后把HDFS的主要代码翻了一遍。不得不说,设计的真不错。不过据说当年的初期的版本代码啥的也很烂。 写了两份关于HDFS的培训文档,给研发部门培训了下。后面原准备接着来两次mapreduce和spark的培训,因为种种原因,一直耽搁下来。HDFS培训完针对同学提出的问...原创 2016-04-06 23:30:30 · 165 阅读 · 0 评论