- 解压安装文件
- 修改配置文件(伪分布式)
$HADOOP_HOME/etc/hadoop (自己的$HADOOP_HOME:/etc/hadoop/hadoop2.9.2)
- hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk9.0.1 - core-site.xml
<!-- 制定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/itcast/hadoop-2.4.1/tmp</value>
</property> - hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property> - mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> - yarn-site.xml
<!-- 指定ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>itcast01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
- 添加到环境变量
vim /etc/proflie
JAVA_HOME=/usr/java/jdk-9.0.1
JRE_HOME=/usr/java/jdk-9.0.1/jre
HADOOP_HOME=/usr/hadoop/hadoop-2.9.2
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME JRE_HOME HADOOP_HOME CLASS_PATH PATH
source /etc/profile
- 格式化NameNode
hdfs namenode -format
- 启动Hadoop
sbin/start-dfs.sh
sbin/start-yarn.sh
- 验证是否启动成功
使用jps命令
成功则显示:
15056 NameNode
15425 SecondaryNameNode
15921 NodeManager
18292 Jps
15606 ResourceManager
15215 DataNode
- 登录管理界面
http://IP:50070 (HDFS管理界面)
http://IP:8088 (MR管理界面)
- 配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost