最近太过于项目开发,就很少发布帖子更新技术以及BUG解决方案了。。。靠
接下来的时间抽空给大家整点干货 、干货 、干货 重要的事情说三遍。还是记不住的话,那我就在讲第四遍好了 (干货)
我会给讲解从搭建hdfs分布式存储系统到采用Elasticsearch进行对hdfs里面的文件内容进行引擎搜索,这是一个漫长的故事。需要慢慢讲解,先说好 我的文档如果对你有帮助,给小弟点个小关注,以后我好炫耀
好了废话不多说直接上货
首先我们要准备一台CentOS7的服务器,我是采用VMware Workstation Pro虚拟机,有条件的去购买一台也是没问题的...........我是属于没条件的
VMware Workstation Pro安装教程 以及VMware Workstation Pro安装CentOS7镜像文件步骤网络也有很多教程 我准里不过于多说,我们今天的主题主要是搭建HDFS 分布式存储平台
第一步安装openjdk-1.8.0:
在linux中执行yum search java|grep jdk 查询jdk版本,执行命令得出以下效果证明是可以进行下载的
然后执行 yum install java-1.8.0-openjdk 等待漫长的下载过程
下载完毕后
执行 java -version 得出以下openjdk版本信息
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)
这里有人会说我他妈都不知道下载到哪里去了,还有我他妈都没有配置/etc/profile系统环境为什么敲java-version可以得出结果
yum install 下载下来会默认配置系统环境,所以不需要咱们去配置,我们只要拿过来用就可以了
敲黑板这是重点,黑板,黑板,黑板
下载成功后默认到本地服务器的:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64
-
查看java是否可用:javac
错误原因:默认安装完只有运行环境,java安装目录下只有jre文件夹
-
安装开发环境yum install java-1.8.0-openjdk-devel.x86_64
安装完可看到java安装目录下出现bin、lib等文件夹: -
再次输入javac
说明安装成功
设置环境变量
修改/etc/profile文件:vi /etc/profile
在profile文件末尾新增如下内容:
等下配置hdfs的时候要用到 注意 注意 注意
#set java environment
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.144-0.b01.el6_9.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
openjdk安装完成后,接下来我们要搭建hadoop的HDFS分布式存储平台了
hadoop采用的是2.9.2下载路径:Index of /dist/hadoop/core/hadoop-2.9.2
下载好后,解压tar-zxvf hadoop-2.9.2.tar.gz
配置hadoop环境如下:
vim /etc/profile
#Hadoop
export HADOOP_HOME=/var/AIPS/hadoop/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
退出编辑后进行保存(该命令只在该命令窗口有效,若使其一直有效,重启系统即可)
source /etc/profile
在命令中敲出:
hadoop version
看到以下输出安装成功
进入hadoop-2.9.2下的etc/hadoop路径下 修改hadoop-env.sh 把JAVA_HOME修改你当前的安装路径即可
修改 hadoop下 /etc/hadoop 的 core-site.xml 文件
修改如下
<configuration>
<!--这里路径是namenode 、datanode 等存放的公共临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data_hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<!--设置hdfs中服务的主机和端口号-->
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.14.86:9000</value>
</property>
</configuration>
修改 hadoop下 /etc/hadoop 的 hdfs-site.xml 文件
修改如下
<configuration>
<!--设置hdfs中的namenode文件目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/data_hadoop/dfs/name</value>
<final>true</final>
</property>
<!--设置hdfs中的datanode文件目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/data_hadoop/dfs/data</value>
<final>true</final>
</property>
<!--设置数据块副本(由于是单机所以1即可)-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--hdfs的访问权限设置为false-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<!--web界面访问-->
<property>
<name>dfs.http.address</name>
<value>192.168.14.86:50070</value>
</property>
<!--开启webhdfs-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
格式化namenode
在启动hadoop集群前需要格式化namenode。需要注意的是,第一次安装Hadoop集群的时候需要格式化Namenode,以后直接启动Hadoop集群即可,不需要重复格式化Namenode。
在Hadoop目录下输入如下命令
bin/hdfs namenode -format
启动前需要在hadoop/hadoop-2.9.2/sbin
/start-dfs.sh加入以下,hadoop/hadoop-2.9.2/sbin
/stop-dfs.sh 也需要加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
在hadoop目录下输入
sbin/start-dfs.sh
访问(根据自己的地址来访问)
http://192.168.14.86:50070
搭建成功