操作前准备
!!!注意各种计算机以及各个软件的安装位数是32位还是64位的,一定要匹配否则可能会出现不兼容的现象!!!
1.W10 本地终端 Windows Terminal(W10商店下载要最新系统,否则换一个别的终端都可以)
2.VM虚拟机,我用的是15pro (官网出到15.5了)
3.CentOS镜像 示例中采用C7
4.虚拟机安装linux教程
5.Hadoop的CDH版本 (先下载到本地,然后用终端上传到linux服务器也可以使用wget下载,选下面这个版本)
6.JDK1.8注意选择linux系统下的
下面开始环境搭建
首先将虚拟机中的linux系统联网,可使用图形化界面进行连接,使用在终端使用ifconfig和ping测试连通性。
现将Hadoop 和JDK1.8下载到本地
也可在linux服务器中采用wget方式下载,本示例演示从本地拷贝到服务器
1.首先在linux系统中新建几个相应的文件夹用来存放目标文件(新手可以先创建前两个)
mkdir software(存放所使用的软件安装包)
mkdir app(存放软件的安装目录)
mkdir data(存放所使用的数据)
mkdir lib(存放任务作业,jar包等)
mkdir shell(存放相关脚本)
mkdir maven_resp(存放使用到的maven_resp)
在以后的工作中一定要有良好的作业习惯,建立相应的分类文件夹,可以使文件井然有序,方便查找,提高工作效率。
权限不够解决方法
sudo -i 切换到root权限
sudo+命令 可以使用root权限执行当前操作
2.以管理员方式打开本地终端,把Hadoop与JDK拷贝到服务器并且解压。
所需用到的命令如图所示:
scp D:\new\jdk-8u231-linux-x64.tar.gz 用户名@服务器IP:~/software/
Hadoop拷贝方式同理。
接下来要在服务器解压文件并放到指定目录中去。
tar -zvxf jdk-8u231-linux-x64.tar.gz -c ~/app/
Hadoop的解压方式同理。
3.然后在服务器配置JDK与Hadoop的环境变量(根目录下进入)。
vi .bash_profile
然后source一下
source .bash_profile
测试环境变量配置是否成功,并验证(注意重启后验证不成功多半是顺序有问题,java_home和path的顺序要注意)。
4.配置ssh免密登录
一路回车,接下来更改权限,如下所示
测试免密是否成功
成功!
留下一个小问题,如果ssh免密登录很慢是什么原因造成的呢?是否有解决的方法呢?
5.修改Hadoop的配置文件
进入 hadoop-env.sh,做如下配置。
5. HDFS格式化以及启动等相关问题
vi core-site.xml
权限不够记得切换权限上文有提及
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
然后进入
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/jerry/app/tmp</value>
</property>
接下来在app目录新建一个文件夹,并配置相关路径(如果不执行这一步,以后的操作可能出现问题,文件可能因为存储在临时文件夹的位置导致消失)
注意 hadoop.tmp.dir的配置就是你新建的tmp文件夹下的路径
进入slaves将名称由localhost改为hadoop000
到这里配置基本就结束了!
让我们启动一下吧!
第一次执行一定要格式化文件系统
执行格式化。
出现这个语句表示格式化成功
启动服务!!!!先到这个目录下
然后启动。
./start-dfs.sh
使用jps进行验证查看节点是否启动成功,如图所示即启动成功。
我们也可以通过浏览器去查看,如果jps可以查看到启动成功而浏览器无法连接多半是防火墙原因,我们可以先去关闭防火墙,再去查看(HDFS默认端口号50070)。
根目录下输入永久关闭防火墙命令。
1:查看防火状态
systemctl status firewalld
service iptables status
2:暂时关闭防火墙
systemctl stop firewalld
service iptables stop
3:永久关闭防火墙
systemctl disable firewalld
chkconfig iptables off
4:重启防火墙
systemctl enable firewalld
service iptables restart
尝试浏览器登录,地址是
http://服务器IP:50070
试着登录一下看看
哇成功了哦!欢迎留言讨论!