1.安装jdk
- oracle官网下载jdk安装包(本例使用Java8),使用tar -xzvf jdk… 解压安装。
- 在/usr目录下新建soft目录,cd /usr ; sudo mkdir soft ;
- 修改soft文件夹的读写权限,sudo chmod a+w soft ;用ls -al 查看权限
- 移动jdk至soft文件夹:mv jdk.. /usr/soft
- 进入到jdk的bin目录:cd /usr/soft/jdk../bin (仅查看,可跳过此步)
- 配置环境变量:cd /etc ; sudo nano environment ; 在PATH上方新建一行并输入JAVA__HOME=/usr/soft/jdk…(位置自行查询);将PATH路径最后的games:之后的路径改为/usr/soft/jdk…/bin ; 保存退出:ctrl+o保存,enter确定,ctrl+x退出;source environment 使其立即生效;echo $JAVA_Home 显示结果
- java -version 命令测试Java是否安装成功
2.安装Hadoop
- 打开官网www.apache.org,在project中找到Hadoop,进入download hadoop,选择hadoop版本(本例使用2.7.7),点击binary进入下载页面,选择最上方的下载链接下载。
- cd Download文件夹,用tar -xzvf hadoop.. 解压安装。
- 移动至soft文件夹:mv hadoop.. /usr/soft
- 添加环境变量:cd /etc ; sudo gedit environment 打卡环境变量设置;在上方新建一行并输入HADOOP_INSTALL=/usr/soft/hadoop…; 在PATH路径最后加上“ : /usr/soft/hadoop…/bin:/usr/soft/hadoop…/sbin ”(其中:为分隔符不可省略);source environment 使其立即生效;echo $PATH 显示结果
- 使用hadoop version 检查是否安装成功,需要重启系统使JAVA生效
3.配置Hadoop独立模式
- jps命令查看进程
- hadoop fs -ls 即使用hadoop形式下的ls命令
- 独立模式并不是分布式存储
4.配置Hadoop伪分布模式
- cd /usr/soft/hadoop…/etc 目录下只有一个hadoop文件夹,对它进行复制,cp -R hadoop hadoop_pseudo
- 进入hadoop_pseudo目录,对其中的site文件进行编辑,sudo gedit *-site.xml 打开所有xml文件,并修改其内容。参考伪分布模式配置
- 启动守护进程,配置 SSH权限认证。sudo apt-get install ssh 进行安装,用which ssh-keygen 查看是否有秘钥生成器keygen
- 回到主目录 cd ~ ; ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
- 进入 cd .ssh ,下有两个文件 id_rsa ; id_rsa.pub
- cat id_rsa.pub >> authorized_keys
- ssh localhost ,选择yes完成配置,exit退出ssh模式。cd .ssh 目录下有known_hosts时配置成功
- 再次ssh localhost, 此时不需要密码。
- cd .ssh 进入/.ssh 目录; hadoop namenode -format 进行格式化
- 启动守护进程:进入 cd /usr/soft/hadoop…/etc 目录,start-dfs.sh –config HADOOPINSTALL/etc/hadooppseudo;选择yes;start−yarn.sh−−config H A D O O P I N S T A L L / e t c / h a d o o p p s e u d o ; 选 择 y e s ; s t a r t − y a r n . s h − − c o n f i g HADOOP_INSTALL/etc/hadoop_pseudo ;
- jps -l 查看守护进程:应包含 NameNode,Jps,SecondaryNamenode,NodeManager,ResourceManager,DataNode (可自行查看类完整名的源代码进行学习)
- 通过http://localhost:50070/ 查看名称节点,http://localhost:8088/
- 关闭进程:stop-yarn.sh, stop-dfs.sh
- 启动的快捷方式:start-all.sh –config $HADOOP_INSTALL/etc/hadoop_pseudo
- 在 /usr/soft/hadoop…/etc 目录下, export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop_pseudo ; 此时,用 hadoop fs -ls / 显示为空; 用 hadoop fs -mkdir /user/ 创建用户目录,再用hadoop fs -ls / 查看是否创建成功。
5.配置Hadoop完全分布模式
- 【如无需要,跳过此步】更改虚拟机目录和名称。首先,把原虚拟机文件夹复制到新的目录下,在vm配置中更改虚拟机名称,为了保持一致,把复制过来的文件夹及里面的文件通通改名。最后打开里面的后缀为vmx,vmxf文件,更改相应位置的名称。再在虚拟机配置中选择相应的工作目录即可。
- 【??】使用符号链接实现配置分离,参考链接。 先重命名hadoop为独立模式,cd /usr/soft/hadoop…/etc ; mv hadoop hadoop_alone ; cp -R hadoop_pseudo hadoop_cluster 建立集群型hadoop; ln -s hadoop-cluster hadoop 建立符号链接,等价与Windows中的快捷方式。
- 克隆三台虚拟机。原先的虚拟机作为名称节点s1。 确保虚拟机处于关闭状态,右键管理,选择克隆,选择完全克隆,更改名称和保存位置即可。在网络适配器的高级设置中可以重新生成mac地址。克隆3台(2台数据节点,1台次级名称节点)。 修改虚拟机主机名s2,s3,s4,便于区分各客户机。
- 通过hosts文件配好各台机器的ssh远程无密登录。
- 修改各节点机器的xml文件ip配置,可使用远程拷贝。再进行格式化启动。
补充知识:
1.vmtools不生效的解决方法 :sudo apt-get install open-vm-tools-desktop(此步骤最为重要,open-vm-tool 为官方推荐的开源版本,这里是安装其中的桌面环境) reboot 重启