![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop学习篇
早更人
我曾七次鄙视自己的灵魂
当能进取时,选择了顺从现状,此为其一;
在瘸子面前跛行,此为其二;
当面临着困难和容易的选择,选择了后者,此为其三;
犯错后以其他人皆会犯错为借口,此为其四;
因软弱而忍耐,并把这种忍耐归于坚强而聊以慰藉,此为其五;
鄙视丑恶的面孔,却不知自己早已是那副面孔,此为其六;
侧身于生活的污泥中,虽不甘心,却又畏首畏尾。,此为其七。
展开
-
Hadoop mac 2.8.4的开发环境搭建
1.java环境安装网上搜索 JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home2.下载hadoop2.8.4 binary版本下载地址:hadoop2.8.43.解压文件$ tar -zxvf hadoop-2.8.0.tar.gz4.配置hadoop环境变...原创 2018-07-24 11:04:20 · 627 阅读 · 0 评论 -
hadoop HDFS常用文件操作命令
命令基本格式:hadoop fs -cmd < args >1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file &转载 2018-08-15 16:52:19 · 577 阅读 · 0 评论 -
Hadoop 中的datanode无法启动
问题描述:2018-08-16 11:33:56,570 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hdfs/data/java.io.IOException: Incompatible clusterIDs in /opt/hdfs...原创 2018-08-16 11:54:19 · 497 阅读 · 0 评论 -
ssh 免密登录
1.生成秘钥ssh-keygen2.在~/.ssh目录下生成authorized_keystouch authorized_keyscat id_rsa.pub >> authorized_keys3.将A服务器id_rsa.pub公钥拷贝到B的home/目录下 A服务器执行scp id_rsa.pub root@slave01_ip:/homeB服务器...原创 2018-08-20 14:32:33 · 268 阅读 · 0 评论 -
Hadoop2.8.4配置参数查看小工具
1.通过网页方式查看参数: http://master:57000/conf 结果如下: 2.通过Java代码来查看import java.util.Map.Entry;import org.apache.hadoop.conf.*;import org.apache.hadoop.util.*;/** * @author 王也 */public class Con...原创 2018-08-24 13:40:54 · 339 阅读 · 0 评论 -
Hadoop相关网页收集
下载地址http://hadoop.apache.org/releases.html文档地址http://hadoop.apache.org/docs/r2.8.4/原创 2018-08-24 14:00:29 · 199 阅读 · 0 评论