虚拟机Linux安装及hadoop的安装使用

一、安装虚拟机
1、可以去浏览器上找，有许多虚拟机的下载安装教程。这个一般不会遇到什么问题，都能够成功安装，如果遇到问题就去网上搜吧。
2、如果不是正版的虚拟机会需要激活秘钥，这个也可以从网上找到，直接搜你的版本的激活秘钥就可以了。
二、在虚拟机上安装Linux
（1）打开虚拟机
（2）创建新的虚拟机
（3）我们这里选的是典型
（4）选择安装程序光盘映像文件，选择你的映像文件（映像文件可以从网上下载，Linux一般是Cent OS）
（5）填写信息，这里的全名和用户名随便起就可以，推荐起相同的，密码需要记住，然后下一步
（6）虚拟机命名按它默认的就行，安装位置不要放在系统盘（C盘），然后下一步，一直点下一步直到完成。
三、我遇到的问题
点击完成后出现了如下界面：

这时候，需要进入你电脑的BIOS里设置，由于不同电脑进入BIOS的方法不同，你可以网上搜索你电脑型号进入BIOS的方法。
进入BIOS之后选择 configuration，再选择intel virtual technology ，此时该选项应该是disabled（关闭）的，将disabled（关闭）改为 enabled（开启），保存退出，重启电脑就OK了。
四、Hadoop的安装和配置
1、Hadoop基础环境的配置
前置操作：使我所创建的普通用户获得管理员权限
操作方法：
（1）切换到管理员（root）用户：点右上角的关闭按钮，注销，登录root，输入你设的密码

（2）打开/etc/sudoers：
命令1：chmod u+w /etc/sudoers
命令2：vim /etc/sudoers 或者从图形界面打开/etc/sudoers
复制第98行：root ALL=(ALL) ALL
在第99行粘贴并更改用户名：自己的用户名 ALL=(ALL) ALL



（3）被认可的用户使用特权命令时，需要在特权命令前加上sudo
基础网络环境
（1）先配置网络联通
在图形界面：打开网络连接的有线设置->齿轮->ipv4->地址选择手动，填写网络信息就可以了。但是网络信息必须符合网络规则（编辑中有虚拟网络编辑器）

命令行：
打开文件后，将以下配置进行更改
BOOTPROTO=static
ONBOOT=yes
添加以下配置
IPADDR=192.168.218.10
NETMASK=255.255.255.0
GATEWAY=192.168.218.2
DNS1=8.8.8.8
最后，重启网络
service network restart

（2）配置网络地址与主机名的对应关系
Sudo vim /etc/hostname
将此文件内容全部删除，更改为你的当前操作主机的主机名

Sudo vim /etc/hosts
在最后新建一行，添加以下内容

IP地址1 主机名1
IP地址2 主机名2
IP地址3 主机名3

（3）查看防火墙状态
systemctl status firewalld.service
免密登录
（1）生成公私钥
ssh-keygen -t rsa

（2）打开用户目录下的.ssh目录
Cd
Cd .ssh
（3）将公钥文件拷贝成authorized_keys
Cp id_rsa.pub authorized_keys
（4）验证
Ssh 本节点主机名，若无需输入密码可直接登录则设置成功

jdk安装

复制jdk文件到用户目录下
在此目录下新建java目录

将安装包移动到该目录下解压
Tar zxvf 压缩包名


解压后为了方便后期操作，将解压后目录名重命名为jdk（使用mv改名）

打开并编辑用户目录下的.ashrc文件

vim ~/.bashrc

在正文的后面添加以下内容

Export JAVA_HOME=/home/ryan/java/jdk

Export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

保存退出

让该文件立即生效

Source ~/.bashrc

卸载已有jdk
查询已安装包名中包含jdk的：
rpm -qa | grep jdk

卸载方法
Rpm -e 包名 --nodeps（忽略依赖关系）

使用java -version命令验证
如果显示版本号与安装版本号相同，则证明安装成功了

2、Hadoop的安装

首先将hadoop安装包复制到用户目录下，新建hadoop目录。将安装包移动到该目录下解压。




将解压完成后的目录改名为hadoop（为了方便）

将hadoop根目录下的bin目录和sbin目录路径加入到PATH中
更改~/.bashrc文件如下
export JAVA_HOME=/home/ryan/java/jdk

export HADOOP_HOME=/home/ryan/hadoop/hadoop

export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin

改完后，执行source命令令其立即生效
使用hadoop version验证是否成功

3、Hadoop的配置

在$HADOOP_HOME/etc/hadoop/目录下

需要配置以下文件

Hadoop-env.sh

export JAVA_HOME=/home/ryan/java/jdk

Yarn-env.sh

export JAVA_HOME=/home/ryan/java/jdk

Core-site.xml

在configuration标签中添加以下变量和值

fs.defaultFS

hdfs://node-1:9000

hadoop.tmp.dir

/home/ryan/hadoop/hadoop/tmp

Hdfs-site.xml

(如果不设置该参数，则默认值为3)

dfs.replication

2

(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/name)

dfs.namenode.name.dir

/home/ryan/hadoop/hadoop/tmp/dfs/name

(如果不设置该参数，则默认值为$hadoop.tmp.dir/dfs/data)

dfs.datanode.data.dir

/home/ryan/hadoop/hadoop/tmp/dfs/data

 

Mapred-site.xml

mapreduce.framework.name

yarn

Yarn-site.xml

yarn.resourcemanager.address

rmhostname:8032

格式化并启动hadoop
hadoop namenode -format
start-all.sh