Hadoop
文章平均质量分 57
HeatDeath
Learn by doing!
展开
-
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
异常信息如下:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决办法1 进入 hadoop 安装目录2 用 ldd 命令查看依赖库3 现在检查系统的 glibc 库, ldd –versi原创 2017-12-21 16:29:19 · 1695 阅读 · 0 评论 -
Hadoop 配置过程中的错误 Error: Cannot find configuration directory: /etc/hadoop
配置好 hadoop 后,执行启动./start-all.sh,报错:Error: Cannot find configuration directory: /etc/hadoopstarting yarn daemonsError: Cannot find configuration directory: /etc/hadoop这是因为使用了 hadoop-env.sh 默认的关于 hadoo原创 2017-12-21 19:52:30 · 8442 阅读 · 5 评论 -
在 CentOS 7.2 下安装 Hadoop 2.7.5 并搭建伪分布式环境的方法
资源下载1、JDK 下载 http://www.oracle.com/technetwork/java/javase/downloads/index.html2、Hadoop 下载 http://hadoop.apache.org/releases.html一、创建 Hadoop 用户创建 hadoop 用户,并分配以用户名为家目录 / home/hadoop,并将其加入到 sudo 用户组,创原创 2017-12-21 19:48:35 · 6332 阅读 · 2 评论 -
Hadoop 搭建中遇到的问题 —— local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000
ls: Failed on local exception: java.io.IOException: Connection reset by peer; Host Details : local host is: "localhost/127.0.0.1"; destination host is: "localhost":9000; 由于 CentOS 7.2 的镜像有坑,无法使用 servic原创 2017-12-25 14:51:00 · 14381 阅读 · 0 评论 -
Hadoop 下 WordCount 程序运行方法及过程分析
1 WordCount 程序运行方法现在有四个小的文本文本内容分别是把这四个文件所在的文件夹 input 放在 HDFS 中运行 Hadoop 自带的 WordCount 程序hadoop jar /usr/local/etc/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /input /output '[a-z原创 2018-01-06 14:15:41 · 543 阅读 · 0 评论 -
Hadoop 的 NameNode 节点的备份机制与恢复方法
NameNode 出现问题了如何恢复?NameNode的守护进程可以通过人工的方式从SecondaryNameNode上拷贝一份fsimage来恢复数据1、hadoop主节点(NameNode)备份策略以及恢复方法 http://blog.csdn.net/lxpbs8851/article/details/99158892、 转发namenode恢复过程 http://f.d原创 2018-01-09 09:43:23 · 3882 阅读 · 0 评论