hadoop学习笔记01----HDFS环境搭建

第一步，资源准备，

Hadoop程序包和JDK，

1.1下载并安装jdk,配置环境变量(略)

vi /etc/profile

如下，配置jdk，环境变量

export JAVA_HOME=/usr/jdk/jdk1.8.0_181

export PATH=$PATH:$JAVA_HOME/bin:

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME PATH CLASSPATH

 

1.2 .0

安装ssh, 执行命令，yum install ssh

出现如下：

说明本机已经安装ssh,

1.2.1

设置ssh,免密码登录，执行命令：ssh-keygen -t rsa

一直回车即可，生成的密钥文件存放在/root/.ssh/is_rsa

执行完成后如下，进入/root/.ssh目录下，查看文件，(linux中以点.开头的文件是隐藏的，ll -la可查看到，)

1.2.2 复制生成的密钥到授权文件中，执行命令。cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

最后的== 后面，即为用户和主机名机子。

 

1.2.3 验证ssh 免密登录，ssh localhost 或者 ssh 主机名

 

1.3.0 下载安装Hadoop包，

去相关网站下载hadoop包，http://archive.cloudera.com/cdh5/cdh/5/，

注意，该网页前半部分为教程，后半部分是相应的开发包和源码包，往下拉就可下载相应的压缩包。

解压压缩包，（可以进入bin,目录下删除.cmd文件（window执行文件））

1.3.1 配置Hadoop运行环境，进入解压后的文件夹，的etc(环境配置)目录下，的Hadoop目录下，

1.3.1.1 （第一步）

   配置hadoop-env.sh文件，

编辑hadoop-env.sh 配置jdk环境，将本机的java_home，实际路径写入配置文件，

改下hadoop-env.sh的JAVA_HOME，即可

1.3.1.2（第二步），配置etc/hadoop/core-site.xml（配置hadoop默认文件系统位置）

 #配置默认文件系统位置，是在临时文件夹下，重启后会清理
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8020</value>
    </property>
# 设置临时文件夹
<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/temp</value>
    </property>

 

1.3.1.3（第三步），配置etc/hadoop/hdfs-site.xml（副本系数）

# 1个副本就行了
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

1.3.1.4（补充步骤，集群是需要配置，单机是不需要）slaves

配置DataNode节点数，主机名或者IP地址等

 

1.4 启动hadoop

1.4.1 先启动hdfs, 第一步，（只在第一次执行，刚搭建好环境时）先格式化文件系统，bin/hdfs namenode -format 

到hadoop安装目录的bin目录下执行，(如果，在bin目录下执行不行，就到上一级执行)

1.4.2 启动NameNode 和DataNode进程， sbin/start-dfs.sh

进入sbin目录，执行命令， ./start-dfs.sh

验证是否启动成功，jps命令，查看进程，

  

(补充说明，启动后没有NameNode,说明没有完全启动成功)

具体解决思路，写在另一篇博客里

或者，使用浏览器访问http:// IP地址：50070 也可以

停止hdfs,执行命令：  ./stop-dfs.sh

 

1.5 （补充，把hadoop bin目录也配置到系统变量中去：）

注意最后的冒号： ，export PATH中！！！

export MONGODB_HOME=/usr/mongodb/mongodb3.6.0
export JAVA_HOME=/usr/jdk/jdk1.8.0_181
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$JAVA_HOME/bin:$MONGODB_HOME/bin:$HADOOP_HOME/bin:
#export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH HADOOP_HOME

这样在任何目录下，都可以使用hadoop命令了