![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
梁耀荣
华中师范大学统计专业
展开
-
配置hadoop-1.2.1
## # 配置文件均在$HADOOP_HOME/conf下 ## 1.在/home下新建hdfs用户,并给予足够权限 sudo mkdir hdfs sudo chmod -R 777 hdfs sudo chown leon hdfs 2.core-site.xml (修改hdfs的网络接口和tmp地址。其中tmp地址必须本地化,确保重启后不用格式化hdfs,以保存原创 2017-02-26 21:18:57 · 564 阅读 · 0 评论 -
配置ssh免密码登录
1.安装ssh sudo apt-get install ssh #若显示依赖错误,先安装所提示的openssh-client对应的版本 2.首次登录ssh以创建home下.shh ssh localhost exit 4.生成密匙 cd .ssh #若没有该文件夹,先登录一次localhost(步骤2,3) ssh-keygen -t rs原创 2017-02-26 21:20:48 · 232 阅读 · 0 评论 -
配置hive
1.下载解压改名 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 2.改路径 export HADOOP_HOME=/home/leon/hadoop-1.2.1 export HIVE_HOME=/home/leon/hadoop-1.2.1/contrib/hive-1.2.1 export PATH=$P原创 2017-02-26 21:24:43 · 262 阅读 · 0 评论 -
hadoop shuffle详解
自己总结的shuffle流程。 如有不当欢迎指出原创 2017-03-16 16:09:19 · 402 阅读 · 0 评论