最好的是,看官网
配置Hadoop
- standalone(本地模式、独立模式)
- 什么都不需要干,不需要启动单独的hadoop进程,使用的就是本地系统,无守护进程在运行
- Pseudodistributed mode(伪分布模式),使用到那个功能可以相对应的配置那个功能
- 进入${HADOOP_HOME}/etc/hadoop目录
- 编辑core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration> - 编辑hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration> - 编辑mapred-site.xml
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> - 编辑yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration> - 配置SSH
- 检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)
$yum list installed | grep ssh - 检查是否启动了sshd进程
$>ps -Af | grep sshd - 在client侧生成公私秘钥对。
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa - 生成~/.ssh文件夹,里面有id_rsa(私钥) + id_rsa.pub(公钥)
- 追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
$>cd ~/.ssh
$>cat id_rsa.pub >> authorized_keys - 修改authorized_keys的权限为644.
$>chmod 644 authorized_keys - 测试
$>ssh localhost
- 检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)