1、准备的软件
必备
系统:ubuntu14.04(官网,服务器版)
JDK:1.7.0_55 (官网)
Hadoop: 2.4 (官网)
可选
这部分软件非必要,但是如果要便利些,请选择使用,实际的公司中也会使用。
FTP:这个不用说了,为了传送文件更便利,安装完ubuntu后 运行命令“sudo apt-get install vsftpd”,自动下载并安装,安装完毕后输入vi /etc/vsftpd/vsftpd.conf进行配置,最基本的:
local_enable=YES 允许本地账号登陆
write_enable=YES 能够进行写操作(上传)
其他的根据自己的需要进行配置吧。
SecureCRT:因为虚拟机上安装的ubuntu server复制粘贴命令不是很方便,有一个这东西方便很多,不过需要安装了open SSH之后才能用。
2、安装系统
这个简单了,下载的ubuntu server的iso版本,直接用vmware进行安装,设置好账号和密码,一般的权限上可以搞掂,如果偷懒点可以使用root账号,输入sudo passwd 设置下root账号的密码就可以了。
3、安装JDK
a) 我下到的jdk版本为:jdk-7u55-linux-x64.tar,通过FTP上传到用户目录下/home/a
tar xvf jdk-7u55-linux-x64.tar 解压后得到一个文件夹,当然你也可以在windows下用winRAR解压了之后用ftp上传到虚拟机上
解压后的文件夹重命名为jdk7 , mov jdk-7u55-linux-x64 jdk7
b) 下面配置下环境变量:
vi /etc/profile 进入文档编辑模式(按i)
新增以下内容:
export JAVA_HOME=/home/a/jdk7
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
ctrl + c 然后输入:wq 回车保存退出。
如果嫌vi编辑太麻烦,一样的用root用户通过ftp对etc下的profile文件进行编辑后上传。
c) 需要重启虚拟机的系统后才能生效。
重新进入之后输入java -version 看是否成功。
4、配置SSH
a) 确定ubuntu连上网络
输入sudo apt-get install ssh
此时会自动安装ssh
可能会提示如下内容:
openssh-server : 依赖: openssh-client (= 1:6.6p1-2ubuntu1)
E: 无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系。
我们执行:sudo
apt-get
install
openssh-client=1:6.6p1-2ubuntu1 进行安装就好了
安装完成之后执行下:ps
-e |
grep
ssh 有内容则说明执行成功了。
b) 安装成功后输入 ls -a /home/a 发现会有一个.ssh文件,则安装成功
输入命令:ssh -keygen -t dsa -P '' -f ~/.ssh.id_dsa
需要注意大小写,~表示当前用户文件夹
生成密匙之后,再输入:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authoried_keys
到此步基本配置完成
c) 验证
输入:ssh -version
这个提示是ok的,不过略傻,搞不懂为何会这样提示。
输入:ssh localhost
第一次登陆会询问你是否继续连接,输入yes即可,现在这个截图是我第二次登陆了,所以没有提示
注意:可能会提示connect to host localhost port 22: Connection refused
此时再输入sudo apt-get install openssh-server ,安装上服务器端即可
SSH安装完毕之后你会发现SercureCRT可以使用了。
5、安装Hadoop
a) 下载了hadoop-2.4.0.tar,同JDK一样咯,解压到用户目录下,vi /etc/profile 新增:
export HADOOP_HOME="/home/a/hadoop24"
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
b) 配置,进入/home/a/hadoop24/etc/hadoop
core-site.xml 新增
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.77.129:9000</value>
<final>true</final>
</property>
</configuration>
hdfs-site.xml 新增:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
新建 mapred-site.xml 这个文件(原来的目录是没有的),再新增:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml 新增:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
c) 到bin目录下启动
开始守护进程
# hadoop-daemon.sh start namenode
# hadoop-daemon.sh start datanode
开始 Yarn 守护进程
# yarn-daemon.sh start resourcemanager
# yarn-daemon.sh start nodemanager
使用jps看下当前系统中的java进程
d) 使用 http://192.168.77.129:8088/cluster 浏览器登陆
界面如下:
恭喜了!初步的配置已经完成了!