第一步,资源准备,
Hadoop程序包和JDK,
1.1下载并安装jdk,配置环境变量(略)
vi /etc/profile
如下,配置jdk,环境变量
export JAVA_HOME=/usr/jdk/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin:
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH
1.2 .0
安装ssh, 执行命令,yum install ssh
出现如下:
说明本机已经安装ssh,
1.2.1
设置ssh,免密码登录,执行命令:ssh-keygen -t rsa
一直回车即可,生成的密钥文件存放在/root/.ssh/is_rsa
执行完成后如下,进入/root/.ssh目录下,查看文件,(linux中以点.开头的文件是隐藏的,ll -la可查看到,)
1.2.2 复制生成的密钥到授权文件中,执行命令。cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
最后的== 后面,即为用户和主机名机子。
1.2.3 验证ssh 免密登录,ssh localhost 或者 ssh 主机名
1.3.0 下载安装Hadoop包,
去相关网站下载hadoop包,http://archive.cloudera.com/cdh5/cdh/5/,
注意,该网页前半部分为教程,后半部分是相应的开发包和源码包,往下拉就可下载相应的压缩包。
解压压缩包,(可以进入bin,目录下删除.cmd文件(window执行文件))
1.3.1 配置Hadoop运行环境,进入解压后的文件夹,的etc(环境配置)目录下,的Hadoop目录下,
1.3.1.1 (第一步)
配置hadoop-env.sh文件,
编辑hadoop-env.sh 配置jdk环境,将本机的java_home,实际路径写入配置文件,
改下hadoop-env.sh的JAVA_HOME,即可
1.3.1.2(第二步),配置etc/hadoop/core-site.xml(配置hadoop默认文件系统位置)
#配置默认文件系统位置,是在临时文件夹下,重启后会清理
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
# 设置临时文件夹
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/temp</value>
</property>
1.3.1.3(第三步),配置etc/hadoop/hdfs-site.xml(副本系数)
# 1个副本就行了
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
1.3.1.4(补充步骤,集群是需要配置,单机是不需要)slaves
配置DataNode节点数,主机名或者IP地址等
1.4 启动hadoop
1.4.1 先启动hdfs, 第一步,(只在第一次执行,刚搭建好环境时)先格式化文件系统,bin/hdfs namenode -format
到hadoop安装目录的bin目录下执行,(如果,在bin目录下执行不行,就到上一级执行)
1.4.2 启动NameNode 和DataNode进程, sbin/start-dfs.sh
进入sbin目录,执行命令, ./start-dfs.sh
验证是否启动成功,jps命令,查看进程,
(补充说明,启动后没有NameNode,说明没有完全启动成功)
具体解决思路,写在另一篇博客里
或者,使用浏览器访问http:// IP地址:50070 也可以
停止hdfs,执行命令: ./stop-dfs.sh
1.5 (补充,把hadoop bin目录也配置到系统变量中去:)
注意最后的冒号: ,export PATH中!!!
export MONGODB_HOME=/usr/mongodb/mongodb3.6.0
export JAVA_HOME=/usr/jdk/jdk1.8.0_181
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$JAVA_HOME/bin:$MONGODB_HOME/bin:$HADOOP_HOME/bin:
#export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH HADOOP_HOME
这样在任何目录下,都可以使用hadoop命令了