java hadoop 教程_Hadoop详细配置教程

windows下采用PuTTY或者Xshell连接远程主机

mac用终端连接远程linux主机：ssh user@hostname

user 为 linux 服务器的管理员名称

hostname 为 linux 服务器的IP

注意：

pwd 可显示当前目录所在位置。

使用who命令可以查看当前登录用户，使用w命令可以看到所有登录用户信息。

查看主机名hostname命令：hostname 或者 uname -n

查看系统版本、内核等详细信息：uname -a

linux如何查看主机的cpu个数和总内存：cat /proc/cpuinfo 和 cat /proc/meminfo

安装jdk

# ls

# javac //检测java环境(得出提示，按提示安装)

# sudo apt-get install openjdk-7-jdk

# javac //检测java环境

# vim /etc/profile

键盘输入a,进入编辑模式，编辑文件，设置JAVA环境变量

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

点ESC键退出编辑模式

输入:wq保存退出

# source /etc/profile 　　(使之生效)

# javac//检测java环境

安装hadoop

下载hadoop:

# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

# ls

# mv hadoop-1.2.1.tar.gz /opt/ 　(把hadoop安装包放到opt目录下，注：mkdir为创建文件夹命令)

# cd /opt/

# ls

# tar -zxvf hadoop-1.2.1.tar.gz 　 (解压缩)

# ls

# cd hadoop-1.2.1/

# ls

(主要配置的文件夹为conf)

# cd conf/

# ls

主要配置4个文件：mapred-site.xml、core-site.xml、hdfs-site.xml、hadoop-env.sh

# vim hadoop-env.sh

编辑有export=JAVA_HOME那一行:去掉前面#号，export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

如果忘了java环境变量地址，先退出，然后通过 # echo $JAVA_HOME 查看变量地址，然后复制下来去粘贴。最后:wq保存

# vim core-site.xml(注：imooc是自己本机的hostname即主机名,9000是端口号)

配置内容：

hadoop.tmp.dir

/hadoop

dfs.name.dir

/hadoop/name

fs.default.name

hdfs://imooc:9000

:wq保存退出

# vim hdfs-site.xml

配置内容：

dfs.data.dir

/hadoop/data

:wq保存退出

# vim mapred-site.xml

配置内容：

mapred.job.tracker

imooc:9001

:wq保存退出

# vim /etc/profile (hadoop环境变量配置)

export HADOOP_HOME=/opt/hadoop-1.2.1

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

:wq保存退出

# source /etc/profile (设置生效)

# hadoop (检测hadoop)

# cd ..

# cd bin/ (即/opt/hadoop-1.2.1/bin目录)

# ls

# hadoop namenode -format (对namenode进行格式化操作)

启动hadoop:

# cd /opt/hadoop-1.2.1/bin/

# ls

# start-all.sh

# jps (使用jps查看hadoop是否运行正常，运行了哪些进程)

# hadoop fs -ls /(看看hadoop下面有哪些文件)