大数据学习笔记一：Centos7上搭建Hadoop环境

一、安装Java

1.下载java安装包，下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html ，选择Linux版本下载

2.解压缩安装包:tar -zxvf  安装包名称

3.配置环境变量：

（1）打开配置文件：vim /etc/profile

（2）添加路径：export JAVA_HOME=/home/zy/Softwares/jdk1.8(改为自己的jdk路径）
                            export PATH=$JAVA_HOME/bin:$PATH
                            export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

(3)使配置文件生效：source /etc/profile

(4）安装完成后可以通过java -version命令查看jdk版本

2.配置ssh

（1）安装ssh（切换到root用户下）：yum install ssh

（2）配置免密码登陆：ssh-keygen -t rsa (之后一直回车）

（3）执行命令：cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

（4）测试是否配置成功：ssh localhost（主机名）

 

3.配置HDFS文件系统

（1）下载Hadoop，建议下载CDH版本，这样以后不会出现各种冲突。下载地址：http://archive.cloudera.com/cdh5/cdh/5/  我采用的是hadoop-2.6.0-cdh5.7.0

（2）解压下载的安装包 tar -zxvf

（3）进入hadoop解压后的文件中，然后进入/etc/hadoop目录，打开配置文件hadoop-env.sh，配置JAVA_HOME

（3）格式化HDFS文件系统的NmaeNode(只有在第一次使用的时候才需要进行该操作，之后不要进行该操作，否则会删除之前的所有数据)：进入hadoop解压包的etc/hadoop目录下，然后运行命令：./hdfs namenode -format

（4）启动NameNode与DataNode进程：

a.进入hadoop解压目录下的sbin目录。

b.执行命令：./start-dfs.sh