第一次启动hadoop

最新推荐文章于 2024-05-22 08:43:05 发布

weixin_34021089

最新推荐文章于 2024-05-22 08:43:05 发布

阅读量515

点赞数

文章标签：大数据运维网络

原文链接：https://my.oschina.net/u/914897/blog/513234

版权

2019独角兽企业重金招聘Python工程师标准>>>

启动步骤：

修改hadoop配置文件

conf/mapred-site.xml,添加以下内容

<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

conf/core-site.xml,添加以下内容

<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>

conf/hdfs-site.xml,添加以下内容

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

conf/hadoop-env.sh,添加以下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45

其中JAVA_HOME指向我的jdk安装路径

2.设置免密码登录

因为Hadoop启动启动/停止脚本时需要通过SSH发送命令启动相关守护进程，为了避免每次启动/停止Hadoop输入密码验证，需要设置免密码登录，具体步骤如下：

1）打开shell终端，输入以下命令：

ssh-keygen -t rsa

会在“~/.ssh/"目录下生成公匙文件id_rsa.pub和私匙文件id_rsa

1）将公匙文件id_rsa.pub中的内容复制到同目录下如authroized_keys文件中：

cd ~/.ssh/
cat id_rsa.pub >> authroized_keys

3. 启动hadoop

1）格式化HDFS：

./hadoop namenode -format

2）启动hadoop

./start-all.sh

在我的ubuntu 桌面版中有因为默认没有安装ssh server，会报以下错误：

connect to host localhost port 22: Connection refused

解决方法是安装ssh server即可

connect to host localhost port 22: Connection refused

启动成功后用以下命令确认hadoop已经启动成功

jason@jason-ThinkPad-E450:~/release-1.0.1/bin$ netstat -ant|grep 50030
tcp6       0      0 :::50030                :::*                    LISTEN     
jason@jason-ThinkPad-E450:~/release-1.0.1/bin$ netstat -ant|grep 50070
tcp6       0      0 :::50070                :::*                    LISTEN

用浏览器访问localhost:50030/，localhost:50070/可以查看MapReduce和HDFS的运行情况。

转载于:https://my.oschina.net/u/914897/blog/513234