大数据学习3

hadoop集群的安装：

linux下需要安装ssh客户端：yum install ssh

需要安装java客户端，1.7及以上就好

hadoop的nn与dn之间需要在linux上通信，我们需要设置免密链接ssh客户端

使用命令 ssh-keygen -t rsa 一路回车

使用ls -la 可以看见.ssh文件

进入.ssh目录,执行 cat ./id_rsa.pub >> authorized_keys

将authorized_keys文件group权限修改为只有read的权限  chmod g-w authorized_keys (不要使用root用户登陆linux 自己可以创建一个用户) 属于一个坑吧...

之后就可以使用特定用户免密登陆了。

 

设置好环境之后开始安装hadoop：

hadoop的cdh官网：http://archive-primary.cloudera.com/cdh5/cdh/5/

我选择的版本：hadoop-2.6.0-cdh5.7.0.tar.gz

解压之后进入etc目录下，编辑hadoop.env.sh文件

export JAVA_HOME=${JAVA_HOME} 添加java的文件路径

 

常用的hdfs命令：

hadoop fs -ls / 显示 / 目录下的文件

hadoop fs -ls -R / 递归显示

hadoop fs -get /某个文件路径 获取hdfs上某个文件到Linux本地

hadoop fs -put 本地文件路径 /hdfs文件路径 上传本地文件到hdfs文件服务器上

hadoop fs -rm -R /某个文件路径 递归删除hdfs上的文件

hadoop fs -mv -R /某个文件路径 /某个文件路径   将hdfs上某个文件移动到另外一个文件

还有很多命令，可以在linux上使用hadoop fs 来获取帮助