初学大数据之环境搭建

本地安装Hadoop

实验目的：

在Linux操作系统下，安装Hadoop

在Linux里安装SUN JDK1.7

系统环境：

发行版本：Ubuntu 15.10

Hadoop版本:Hadoop-1.0.4

1.     配置ssh无密码登录

安装ssh程序

生成公钥/私钥对：

注意，-P应为大写

ls命令查看目录下的内容(ll为查看当前目录下内容详细信息)

id_rsa代表的是私钥，id_rsa.pub代表的是公钥

将公钥追加到授权的key文件中

此时目录下新出现文件（如下图）

修改该文件的权限（600:110 000 000即 –rw- --- ---）只有root用户可以对其进行读写

检查sshd_cofig中的设定（注意，不使用管理员权限则不能保存修改）

找到下面的三项，检查是否被注释了，如果有则需去掉前面的“#” 使其生效

AuthorizedKeysFile配置的值就是上面修改的authorized_keys文件，%h表示用户的主目录

修改了sshd_config文件后，重启ssh服务，使修改后的配置生效

查看一下hosts文件，这里存储了域名和ip地址的映射，可使用cat命令直接查看：

ssh登录到localhost：

登录成功后，输入exit退出登录，再次执行ssh登录命令，如果没有问题，则可以不输入密码直接登录

再次登录

当然如要在该状态下使用gedit工具则需要加参数-X（大写）

禁用ipv6，打开sysctl.conf文件添加禁用ipv6的配置

1.     java和hadoop的安装配置

新建apache目录，将安装包解压到该目录中

打开当前用户环境配置文件bashrc

在末尾添加java和hadoop的环境变量（注意路径应为绝对路径/home/用户名/文件夹所在目录名/文件夹名）

执行source ~/.bashrc语句使配置立即生效

查看java版本，若显示成功，则表示java环境已经配置成功

配置hadoop-env.sh文件：

反注释修改如下内容：

       配置core-site.xml文件

在configuration节点中添加如下内容：

配置mapred-site.xml

配置hdfs-site.xml文件：

进入hadoop主目录，格式化NameNode

在hadoop主目录中执行bin/start-all.sh脚本，来打开Hadoop

运行jps，查看运行中的进程

实验结果

在配置bashrc文件时一定要十分小心，环境配置是否正确决定了启动程序的成功与失败。