Hadoop大数据篇章（第一篇章：CentOS7搭建 单机版本 HDFS分布式存储平台）

最近太过于项目开发，就很少发布帖子更新技术以及BUG解决方案了。。。靠

接下来的时间抽空给大家整点干货  、干货  、干货 重要的事情说三遍。还是记不住的话，那我就在讲第四遍好了 （干货）

我会给讲解从搭建hdfs分布式存储系统到采用Elasticsearch进行对hdfs里面的文件内容进行引擎搜索，这是一个漫长的故事。需要慢慢讲解，先说好 我的文档如果对你有帮助，给小弟点个小关注，以后我好炫耀

好了废话不多说直接上货

首先我们要准备一台CentOS7的服务器，我是采用VMware Workstation Pro虚拟机，有条件的去购买一台也是没问题的...........我是属于没条件的

VMware Workstation Pro安装教程 以及VMware Workstation Pro安装CentOS7镜像文件步骤网络也有很多教程 我准里不过于多说，我们今天的主题主要是搭建HDFS 分布式存储平台

第一步安装openjdk-1.8.0：

  在linux中执行yum search java|grep jdk 查询jdk版本，执行命令得出以下效果证明是可以进行下载的

然后执行 yum install java-1.8.0-openjdk 等待漫长的下载过程

下载完毕后

执行 java -version 得出以下openjdk版本信息
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)

这里有人会说我他妈都不知道下载到哪里去了，还有我他妈都没有配置/etc/profile系统环境为什么敲java-version可以得出结果

yum install 下载下来会默认配置系统环境，所以不需要咱们去配置，我们只要拿过来用就可以了

敲黑板这是重点，黑板，黑板，黑板

下载成功后默认到本地服务器的：/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64

• 查看java是否可用：javac

  

  错误原因：默认安装完只有运行环境，java安装目录下只有jre文件夹

• 安装开发环境yum install java-1.8.0-openjdk-devel.x86_64
  安装完可看到java安装目录下出现bin、lib等文件夹:

• 再次输入javac

  

  
  说明安装成功

设置环境变量
修改/etc/profile文件：vi /etc/profile
在profile文件末尾新增如下内容：

等下配置hdfs的时候要用到 注意 注意 注意

#set java environment
   JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-0.b01.el6_9.x86_64
   JRE_HOME=$JAVA_HOME/jre
   CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
   PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
   export JAVA_HOME JRE_HOME CLASS_PATH PATH

openjdk安装完成后，接下来我们要搭建hadoop的HDFS分布式存储平台了

hadoop采用的是2.9.2下载路径：Index of /dist/hadoop/core/hadoop-2.9.2

下载好后，解压tar-zxvf  hadoop-2.9.2.tar.gz

配置hadoop环境如下：

vim /etc/profile

#Hadoop
export HADOOP_HOME=/var/AIPS/hadoop/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

退出编辑后进行保存(该命令只在该命令窗口有效，若使其一直有效，重启系统即可)

source /etc/profile

在命令中敲出:

hadoop version

看到以下输出安装成功

 进入hadoop-2.9.2下的etc/hadoop路径下 修改hadoop-env.sh 把JAVA_HOME修改你当前的安装路径即可

 修改 hadoop下 /etc/hadoop 的 core-site.xml 文件

修改如下

<configuration>
	<!--这里路径是namenode 、datanode 等存放的公共临时目录-->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/data_hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>

	<!--设置hdfs中服务的主机和端口号-->
   <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.14.86:9000</value>
   </property>
</configuration>

修改 hadoop下 /etc/hadoop 的 hdfs-site.xml 文件

修改如下

<configuration>
	<!--设置hdfs中的namenode文件目录-->
	<property>
	        <name>dfs.namenode.name.dir</name>
	        <value>/opt/data_hadoop/dfs/name</value>
	        <final>true</final>
	</property>

   <!--设置hdfs中的datanode文件目录-->
	<property>
	        <name>dfs.datanode.data.dir</name>
	        <value>/opt/data_hadoop/dfs/data</value>
	        <final>true</final>
	</property>

    <!--设置数据块副本（由于是单机所以1即可）-->
	<property>
	        <name>dfs.replication</name>
	        <value>1</value>
	</property>

   <!--hdfs的访问权限设置为false-->
	<property>
	        <name>dfs.permissions</name>
	        <value>false</value>
	</property>

	<!--web界面访问-->
	<property>
	       <name>dfs.http.address</name>
	       <value>192.168.14.86:50070</value>
    </property>
	<!--开启webhdfs-->
	<property>
      <name>dfs.webhdfs.enabled</name>
       <value>true</value>
	</property>
</configuration>

格式化namenode

在启动hadoop集群前需要格式化namenode。需要注意的是，第一次安装Hadoop集群的时候需要格式化Namenode，以后直接启动Hadoop集群即可，不需要重复格式化Namenode。

在Hadoop目录下输入如下命令

bin/hdfs namenode -format

启动前需要在hadoop/hadoop-2.9.2/sbin
/start-dfs.sh加入以下，hadoop/hadoop-2.9.2/sbin
/stop-dfs.sh 也需要加

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在hadoop目录下输入

sbin/start-dfs.sh 

访问（根据自己的地址来访问）

http://192.168.14.86:50070

搭建成功