Hadoop1.0.0学习笔记

一．  安装JDK,配置环境JAVA环境变量

exportJAVA_HOME=/home/tmp/jdk1.6.0_26

exportJRE_HOME=/home/tmp/jdk1.6.0_26/jre

exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

二．  安装Hadoop-1.0.0

1. 1.     下载hadoop文件，地址为：http://hadoop.apache.org/coases.html，下载完成后解压hadoop-1.0.0.tar.gz

sudotar xzf hadoop-1.0.0.tar.gz

1. 2.  配置Hadoop环境变量

exportHADOOP_INSTALL=/home/tmp/hadoop-1.0.0

exportPATH=$PATH:$HADOOP_INSTALL/bin

1. 3.  查看hadoop版本

输入 hadoop version命令后输入下图，则安装hadoop成功

1. 4.  修改配置文件

2. a)    解压hadoop-1.0.0/hadoop-core-1.0.0.jar

3. b)    去解压后的hadoop-core-1.0.0文件夹下,复制文件core-default.xml，hdfs-default.xml，mapred-default.xml三个文件到hadoop-1.0.0/conf/下,删除hadoop-1.0.0/conf/文件夹下的core-site.xml，hdfs-site.xml，mapred-site.xml，将复制过来的三个文件的文件名中的default修改为site

4. c)    在hadoop-1.0.0文件夹同级创建文件夹hadoop，打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点，修改为/home/${user.name}/hadoop/hadoop-${user.name}这样hadoop生成的文件会放入这个文件夹下.修改name节点为fs.default.name对应的value节点，修改为hdfs://localhost/

三．  安装ssh

1. 1.  执行命令安装ssh：sudo apt-get install ssh

2. 2.  基于空口令创建一个新SSH密钥，以启用无密码登陆

3. a)    ssh-keygen-t rsa -P '' -f ~/.ssh/id_rsa

执行结果：

1. b)    cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

2. 3.  测试

sshlocalhost

测试结果：

输入yes

再次输入ssh localhost：

成功之后，就不需要密钥

四．  格式化HDFS文件系统

输入指令:

hadoopnamenode –format

五．  启动和终止守护进程

启动和终止HDFS和MapReduce守护进程，键入如下指令

启动start-all.sh(start-dfs.sh,start-mapred.sh)

出错了，JAVA_HOME is not set

需要修改文件，打开hadoop-1.0.0/conf/hadoop-env.sh

将红线以内部分注释解开,修改为本机JAVA_HOME

export JAVA_HOME=/home/tmp/jdk1.7

再次执行启动命令start-all.sh

停止stop-all.sh(stop-dfs.sh,stop-mapred.sh)

到此，hadoop就已经安装完成了

六．  Hadoop文件系统

1. 1.  查看hadoop所有块文件

执行命令:

hadoopfsck / -files –blocks

执行结果:

此结果显示，hadoop文件系统中，还没有文件可以显示

1. 2.  将文件复制到hadoop文件系统中

2. a)    在hadoop文件系统中创建文件夹,执行命令：

hadoopfs –mkdir docs

1. b)    复制本地文件到hadoop文件系统中执行命令：

hadoopfs -copyFromLocal docs/test.txt \

hdfs://localhost/user/tmp/docs/test.txt

1. c)    复制hadoop文件系统中的文件回本地,并检查是否一致

复制:hadoop fs -copyToLocal docs/test.txt docs/test.txt.bat

检查:md5 docs/test.txt docs/text.txt.bat

检查结果若显示两个md5加密值相同，则文件内容相同。

1. d)    查看HDFS文件列表

执行命令:

hadoopfs –ls

执行结果：

1. e)    再次查看文件系统文件块

执行命令：

hadoopfsck / -files –blocks

执行结果如图:

此处为文件备份数量，可以调整，打开hadoop-1.0.0/conf/hdfs-site.xml文件,

此处修改文件备份数量

转载于:https://blog.51cto.com/maxli/1598157