Hadoop伪分布式

1.安装JDK
解压 tar -zxvf jdk压缩包 -C 指定目录
2.安装hadoop
和jdk安装一样,直接tar开。
3.配置环境变量
4.使环境变量生效
source /etc/profile
5.伪分布模式。
a)进入${HADOOP_HOME}/etc/hadoop目录
b)编辑core-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
c)编辑hdfs-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
d)编辑mapred-site.xml
注意:cp mapred-site.xml.template mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
e)编辑yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

f)配置SSH
1)检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)
$yum list installed | grep ssh

2)检查是否启动了sshd进程
$>ps -Af | grep sshd
3)在client侧生成公私秘钥对。
$>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
4)生成~/.ssh文件夹,里面有id_rsa(私钥) + id_rsa.pub(公钥)

5)追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)
$>cd ~/.ssh
$>cat id_rsa.pub >> authorized_keys
6)修改authorized_keys的权限为644.
$>chmod 644 authorized_keys
7)测试
$>ssh localhost
g)修改hadoop配置文件hadoop/etc/hadoop/hadoop-env.sh
JAVA_HOME=/keduox/hadoop
h)启动hdfs:
格式化文件系统(仅第一次执行即可)hdfs namenode -format
启动hdfs:sbin/start-dfs.sh
i)验证是否启动成功jps查看进程
jps DataNode SecondaryNameNode NameNode
浏览器访问:http://ip地址:50070
j) 停止hdfs
sbin/stop-dfs.sh
阅读更多
换一批

没有更多推荐了,返回首页