hadoop单机版配置和测试

环境：centos7+hadoop-2.7.3.tar.gz

1、首先下载hadoop，

下载地址：http://hadoop.apache.org/releases.html

2、解压到/opt/hadoop-2.7.3

• 解压tar -zxvf hadoop-2.7.3.tar.gz
• 安装：mv hadoop-2.7.3.tar.gz /opt/hadoop-2.7.3（放到想要安装的目录下，如/opt）

3、配置hadoop

第一步：

[hadoop@server1 hadoop]$ vim hadoop-env.sh 
25  export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
[hadoop@server1 hadoop]$ cd
[hadoop@server1 ~]$ vim .bash_profile 
[hadoop@server1 ~]$ cat .bash_profile 
10 PATH=$PATH:$HOME/bin:~/java/bin
[hadoop@server1 ~]$ source .bash_profile

这里也可以用这个方式：

vi /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

使之生效：

source /etc/profile

有的安装介绍中说是vi ~/.bash_profile，其实也可以用这个，2个命令在不同系统用户的环境配置的作用域不一样。参考：

http://blog.csdn.net/caiwenfeng_for_23/article/details/44242961

第二步：

2.修改hadoop2.7.3/etc/hadoop/core-site.xml 文件，
<configuration>
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>

</configuration>

fs.defaultFS直接用localhost就行，如果重命名了主机名，也可以用重命名的。

第三步：

3.修改hadoop2.7.3/etc/hadoop/hdfs-site.xml 

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/hadoop/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据 </description> 
    </property>
 
    <property>
        <name>dfs.data.dir</name>
        <value>/usr/hadoop/hdfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>
    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

第四步：

搭建集群节点的免密连接：

[hadoop@server1 hadoop]$ ssh-keygen 
[hadoop@server1 hadoop]$ cd
[hadoop@server1 ~]$ cd .ssh/
[hadoop@server1 .ssh]$ ls
id_rsa  id_rsa.pub
[hadoop@server1 .ssh]$ cp id_rsa.pub authorized_keys
 

[hadoop@server1 .ssh]$ ssh localhost

[hadoop@server1 ~]$ exit

第五步：初始化

[hadoop@server1 hadoop]$ bin/hdfs namenode -format 初始化

第六步：

启动datanode：

[hadoop@server1 hadoop]$ sbin/start-dfs.sh

查看进程：

[root@Zk-robot-2 hadoop-2.7.3]# jps
8818 Kafka
119650 Jps
98853 QuorumPeerMain
119095 NameNode
119497 SecondaryNameNode
119247 DataNode

补充命令：

启动命令：

./sbin/start-dfs.sh

 

4、常用linux命令

free -h  //查看服务器的内存

netstat -apn|grep 50070  

ps -ef|grep 103599

停止命令：

参考：https://blog.csdn.net/aaaaaab_/article/details/82080751

和https://blog.csdn.net/cafebar123/article/details/73500014#
 

 

PS:以上是安装原生态hadoop的步骤，目前常用的大数据集群都使用现成的工具部署，且有操作管理及其的界面。

例如CDH和华为FI，下一次我将会利用CDH进行搭建。