虚拟机搭建大数据环境

搭建大数据环境以下配置，
是基于VMware虚拟机软件，CentOS-6.5-x86_64-bin-DVD1.iso光盘映像文件，搭建的Linux系统集群

配置静态IP和网络连接

命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0 //配置静态IP和网络连接

ONBOOT="yes"
BOOTPROTO="static"
IPADDR="192.168.110.10"
NETMASK="255.255.255.0"
GATEWAY="192.168.110.1"
DNS1="192.168.110.1"

命令：service network restart //重启网卡

命令：vi /etc/sysconfig/network //配置主机名

HOSTNAME=qiku
GATEWAY=192.168.110.1

命令：vi /etc/hosts //配置别名

192.168.110.10 qiku
192.168.110.11 qiku1
192.168.110.12 qiku2
192.168.110.13 qiku3

命令：chkconfig iptables off //关闭防火墙

hello（本虚拟机名）
命令：ssh-keygen -t rsa
命令：cd /root/.ssh //进入.ssh目录下
命令：ls //查看文件

命令：cat id_rsa.pub >>authorized_keys //创建公钥

命令：ssh hello //验证是否生效
命令：ssh-copy-id -i hello2 //将qiku上的公钥拷贝到hello1(hello2,hello3)的公钥文件中
命令：ssh hello2 //验证是否生效

安装JDK

先在opt目录下新建mysoft目录方便管理
把jdk-8u131-linux-x64.tar.gz压缩包上传到mysoft目录下

命令：cd /opt/mysoft //进入到 /opt/mysoft目录下

命令：tar -zxvf jdk-8u131-linux-x64.tar.gz //解压文件

命令：mv jdk-8u131-linux-x64 jdk //修改解压过的文件名 便于管理

命令：vi /etc/profile //配置环境变量

export JAVA_HOME=/opt/mysoft/jdk
export PATH=$PATH:$JAVA_HOME/bin:$PATH

命令：source /etc/profile (使设置生效)

命令：Java -version //验证JDK

安装Hadoop

把hadoop-2.7.4.tar.gz压缩包上传到mysoft目录下

命令：tar -zxvf hadoop-2.7.4.tar.gz //解压文件

命令：mv hadoop-2.7.4 hadoop //把解压过的文件改名 便于管理

命令：cd /opt/mysoft/Hadoop //进入到 /opt/mysoft/Hadoop目录下

命令：mkdir logs //创建目录 （因为后面要用到）
命令：mkdir tmp
命令：mkdir -p tmp/dfs/name //创建多级目录
命令：mkdir -p tmp/dfs/data

修改配置文件
命令：cd /opt/mysoft/hadoop/etc/hadoop //进入到/opt/mysoft/hadoop/etc/hadoop目录下（下面要修改的文件都是在该目录下）

//要想在hadoop集群中让mapreduce程序以分布式方式运行（mapreduce也可以以local方式运行,也就是单机）
//就要有一个对这个程序进行分发任务到各个nodeManager机器上运行，就要监控这些任务运行，分配资源（CPU,内存等）
//运行中的各类异常处理和恢复等，这个就是 yarn框架能完成的,也称为：资源调度器。这些信息就通过mapred-site.xml配置。
命令：vi mapred-site.xml //配置

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>qiku:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>qiku:19888</value>
</property>
<property>
<name>mapreduce.jobtracher.http.address</name>
<value>qiku:50030</value>
</property>

</configuration>

//下面tmp为上面自己手动创建的
命令：vi core-site.xml //配置

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.110.10:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/mysoft/hadoop/tmp</value>
</property>
<!--hive2 local mode remote access authorizher-->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
<!--hive2 local mode remote access authorizher-->

</configuration>

//下面的tmp/dfs/name和tmp/dfs/data目录是上面手动创建的。
//dfs.replication 设置数据保存份数 。dfs.permissions:是否开启权限检查，false不设权限
命令：vi hdfs-site.xml //配置

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>qiku:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/mysoft/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/mysoft/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

</configuration>

//Yarn-site.xml文件中配置yarn中的主节点（resourcemanager）和工作节点(nodemanager)
命令：vi yarn-site.xml //配置

<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1540</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>qiku</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

</configuration>

//配置Hadoop工作时的部分环境变量，配置JDK
命令：vi hadoop-env.sh

export JAVA_HOME=/opt/mysoft/jdk

//配置hadoop 环境变量
命令：vi /etc/profile

export HADOOP_HOME=/opt/mysoft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

//配置slaves (指定dataNode,nodeManager节点),配置slaves的目的，
//是确定哪些机器上运行 yarn框架下的 nodeManager进程和对应的DataNode进程
命令：vi slaves //配置

qiku1
qiku2
qiku3

命令：source /etc/profile (使设置生效)

qiku
拷贝jdk，hadoop，环境变量profile文件到qiku1虚拟机相应目录
命令：scp -r /opt/mysoft/jdk qiku1:/opt/mysoft/jdk
命令：scp -r /opt/mysoft/hadoop qiku1:/opt/mysoft/hadoop
命令：scp -r /etc/profile qiku1:/etc/profile

拷贝过得虚拟机要设置环境变量生效
命令：source /etc/profile (使设置生效)

命令：hadoop namenode –format （首次安装集群后执行，只执行一次，生成元数据信息相关格式描述文件等信息，类似数据字典）

命令：start-all.sh （若只用存储，可以不开启yarn : start-dfs.sh）

命令：jps //查看开启服务
qiku

4023 ResourceManager
4776 Jps
3641 NameNode
3870 SecondaryNameNode

qiku1,qiku2

3107 DataNode
3205 NodeManager
3627 Jps

在虚拟机浏览器qiku:50070 查看集群信息