hadoop伪分布模式启动

最新推荐文章于 2020-11-22 01:00:30 发布

iteye_9750

最新推荐文章于 2020-11-22 01:00:30 发布

阅读量240

点赞数

分类专栏： hadoop 文章标签： hadoop

hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

[size=large][b]1.设置conf下的core-site.xml、hdfs-site.xml、mapred-site.xml文件[/b][/size]
core-site.xml:


<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>tmp/hadoop-${user.name}</value>
  </property>
</configuration>

hdfs-site.xml:


<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml:


<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>
</configuration>

hadoop-env.sh
export JAVA_HOME=/opt/jdk

[size=medium][b]2.配置ssh[/b][/size]
确保用户能够ssh到本地主机，并不输入密码即可访问。
首先，确保ssh已经安装，且服务器正在运行。
[b]% sudo apt-get install ssh[/b]
然后，基于空口令创建一个新ssh密钥，以启用无密码登录。
[b]% ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa[/b]
[b]% cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys[/b]
用以下指令进行测试：
[b]% ssh localhost[/b]
如果成功，则无需键入密码。

[size=medium][b]3.格式化HDFS文件系统[/b][/size]
[b]% hadoop namenode -format[/b]

[size=medium][b]4.启动和终止守护进程[/b][/size]
启动：
[b]% start-all.sh[/b]
终止:
[b]% stop-all.sh[/b]
可通过jps命令查看守护进程是否正在运行。
或通过Web界面：[url]http://localhost:50030[/url] jobtracker
[url]http://localhost:50070[/url] namenode