hadoop学习笔记，基础集群搭建

最新推荐文章于 2024-07-17 17:53:42 发布

alinna2015

最新推荐文章于 2024-07-17 17:53:42 发布

阅读量69

点赞数

文章标签：大数据 java 运维

原文链接：http://www.cnblogs.com/xiaocainiaohuzhuo/p/7451810.html

版权

1、准备至少三个虚拟机

2、相互通信，生成密钥并发送

3、安装JDK和Hadoop

jdk安装
- 上传jdk到vm1并解压（tar -zvxf jdk-7u67-linux-x64.tar.gz）
- 配置环境变量javahome，path，classpath（export JAVA_HOME=/home/vm1/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar）
- 刷新环境变量并测试（source .base_profile）
hadoop安装
- 上传解压
- 配置环境变量hadoophome,path（export HADOOP_HOME=/home/vm1/hadoop-2.7.1 export PATH=$PATH:$HADOOP_HOME/bin）
- 刷新环境变量并测试（source .base_profile）
- 配置文件（配置文件目录：$HADOOP_HOME/etc/hadoop/）
  - core-site.xml
  - hdfs-site.xml
  - mapred-site.xml
  - yarn-site.xml
  - slaves(集群节点)
  - hadoop-env.sh(export JAVA_HOME=/home/hadoopadmin/jdk1.7.0_67)

4、格式化namenode

　　cd /home/vm1/hadoop-2.7.1/bin

　　chmod 744 *

　　hdfs namenode -format

5、启动Hadoop

　　cd /home/vm1/hadoop-2.7.1/sbin

　　chmod 744 *

　　./start-all.sh

转载于:https://www.cnblogs.com/xiaocainiaohuzhuo/p/7451810.html

关注