目录
3.7在/opt下新建software存放安装包,module安装软件文件夹
一 Hadoop简介
关于Hadoop,去百度上搜索能收到很多关于它的介绍,我用自己的话来介绍一下,Hadoop是Apache的一个项目,现在的社会已经步入了大数据时代,这个时代的特点就是数据量特别大,那么就会遇到一个问题,数据量太大了,怎么处理呢?Hadoop框架的作用就两个:1.存储 2.计算。存储就是数据太大了,一台电脑已经存储不了了,那么就需要好多台电脑存数据,那么这么多电脑存,会遇到很多问题,比如怎么存等等;计算就是比如我想统计一下阿里巴巴的日访问量,阿里那么大的访问量怎么统计求和呢?Hadoop就是为了处理这样的问题诞生的。
Hadoop的下载:hadoop官网:http://hadoop.apache.org/
点击Download或者Getting started均可,选择对应的版本下载,建议hadoop2.x下载
二 Hadoop运行环境搭建前准备
2.1虚拟机准备
关于虚拟机的准备可以查看我在博客中Linux分类下的虚拟机和Linux安装的部分,需要相关软件的,链接:https://pan.baidu.com/s/1NuLTfrRmBNQlPq0bpsd9Ng 提取码:qs2w,百度云链接失效的可以发邮件到我的邮箱2651164672@qq.com;我会及时补上。
https://blog.csdn.net/Haidaiya/article/details/81005032
2.2网络配置
网络配置的作用是设置服务器的静态ip,并且使得我们Linux系统可以上网,具体步骤如下图所示
- 命令行模式下输入vim /etc/sysconfig/network-scripts/ifcfg-eth0
- 按照修改红色方框中的内容修改
2.3修改Linux主机名称
修改Linux主机的名称是为了让我们在访问服务器的时候更加方便一点,比如说访问baidu时,我们更倾向于访问www.baidu.com,而不是它的IP地址。
修改的步骤如下:
- hostname查看当前的名称
- vim /etc/sysconfig/network修改主机名称
- 将主机名称修改为hadoop101,其实这个名称随意起
- vim /etc/sysconfig/network,修改主机名称到IP地址的映射
- 上一部分,设置的ip地址和这里的主机名称对应起来,这样以后访问这个服务器就不要输入ip地址了,直接输入hadoop101就可以访问了。
如有需要也可以在windows下添加映射,这样可以ping通主机名称
三 Hadoop运行环境搭建
3.1 克隆虚拟机
右键虚拟机,管理,克隆
3.2修改静态ip
针对克隆过来的虚拟机
- 因为虚拟机是直接复制前面一步安装的,所以对于它的网卡部分需要修改
- 注释下图中的那行,复制物理网卡地址,修改NAME为eth0
配置网络
将上一部中复制的网卡地址复制到下图的位置
3.3修改主机名称(见上)
见2.3
3.4关闭防火墙
service iptables stop
3.5创建用户wanglei
创建用户useradd wanglei
指定密码passwd wanglei
3.6给wanglei配置root权限
给普通用户wanglei配置root权限是为了方便一些操作,因为有些文件夹普通用户打不开。
如果发现这个下图中的文件是只读文件,就是用chmod 744 sudoers命令修改一下,即可编辑这个文件,在文件中添加红色框中的命令。
3.7在/opt下新建software存放安装包,module安装软件文件夹
sudo mkdir software
sudo mkdir module
四 安装JDK和Hadoop
4.1使用xFtp传输jdk的tar包
这里解释一下为什么要安装JDK,因为Hadoop框架是用java写的,没错就是这样,使用Xftp工具将jdk-8u144-linux-x64.tar.gz传输到Linux服务器上的softwar目录,并且将压缩包解压到module目录下,命令如下:tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
配置环境变量,输入vim /etc/profile , 添加两行
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
4.2安装Hadoop
步骤与jdk的安装步骤相同,环境变量的配置不同
输入hadoop可以顺利看到这些信息说明hadoop的环境已经基本搭建好了,这里讲的很详细了,但是如果没有Linux基础的话可能还是看的云里雾里,需要提前看一下Linux基础
4.3 总结:hadoop的环境配置是开始最难的一步,需要一定的Linux基础,不然很难理解,我自己也是花了一个月时间将Linux学习了一遍,在配置的时候还是蛮顺利的,这里分享一下我的Linux学习视频
https://www.bilibili.com/video/av31902291/?p=1