Hadoop环境搭建（伪分布式的）

• 安装VMware，下载centOS镜像文件

• 创建一个虚拟机，启动虚拟机，更改网络模式为net，并配置ipv4，用外面的CRT进行连接

• 由于开太多图形界面影响性能，需要配置开机时为命令模式

短期命令为：init 3
长期配置：
3.1 sudo vi /etc/inittab(使用sudo比较好，使用su的话后面如果忘记退出root用户，会影响一些问题，其中sudo一开始还不能使用。要配置一下)
3.2 initdefault改为3

• 修改主机名，配置主机名和地址的映射关系

sudo vi /etc/sysconfig/network
sudo vi /etc/hosts

• 接下来开始安装—最好把所有的安装包，都建一个文件夹installpkg放在这里，然后解压后的文件都放在新建的文件夹app上（好管理）
• 安装jdk_linux,上传jdk到linux，然后解压，配置环境变量
• 安装hadoop,上传到Linux，解压
• 配置文件（/home/bigdata01/app/hadoop-2.7.3/etc/hadoop）

7.1 hadoop-env.sh把JAVA_HOME配置成死的（省得有时候读不到）
7.2 配置core-site.xml
7.3 配置hdfs-site.xml
7.4 配置 mapred-site.xml
7.5 配置yarn-site.xml

• 关闭linux防火墙（大数据集群一般都是内网集群，不需要开启防火墙，如果要外网的话又单独的机器，可以通过该机器对外通信）
• 格式化HDFS

hadoop namenode -format

• 启动hdfs,yarn
• 测试HDFS上传下载

上传命令：hadoop fs -put jdk-7u80-linux-x64.tar.gz hdfs://bd1:9000/
查看的网址： http://bd1:50070（增加window主机名和地址的映射关系：C:\Windows\System32\drivers\etc\hosts）–如果文件不可修改，百度修改下电脑用户权限
下载命令： hadoop fs -get hdfs://bd1:9000/jdk-7u80-linux-x64.tar.gz