1.JDK8:
下载系统对应的jdk(.tar.gz:注意没有src后缀,这种文件解压就能用。这里给出一个64bit http://pan.baidu.com/s/1nuT7TdJ edxq )
获取root权限:
在usr下新建一个文件jdk, 在这个文件用来放解压的jdk:
1 | root@kaenpc:/home/kaen# mkdir /usr/jdk
|
解压下载文件到jdk中:
root@kaenpc:/home/kaen# cd /usr/jdk
root@kaenpc:/usr/jdk#
root@kaenpc:/usr/jdk#
root@kaenpc:/usr/jdk# tar -zxvf /home/kaen/Downloads/下在的文件路径
添加环境变量:
sudo gedit /etc/environment
在打开的文件中添加(红色部分):
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HO
ME/bin"
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/usr/jdk/解压的文件名
ME/bin"
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/usr/jdk/解压的文件名
保存后:
source /etc/environment
到这里还没有完结:此处配置你可以用java -version命令验证是否安装成功:仅仅在root情况下才能正确运行,退出root则不行
下面进一步:设置所有用户环境变量:
sudo gedit /etc/profile
文件下面添加,
JAVA_HOME=/usr/jdk/解压的jdk名
export JRE_HOME=/usr/jdk/解压的jdk名/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export JRE_HOME=/usr/jdk/解压的jdk名/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
重启系统生效
如果你系统本来就有其他的jdk,我们就需要更改默认jdk:
sudo updatealternatives install "/usr/bin/java" "java" "/usr/jdk/解压jdk名/bin/java" 300
sudo updatealternatives install "/usr/bin/javac" "javac" "/usr/jdk/解压jdk名/bin/javac" 300
sudo updatealternatives install "/usr/bin/javaws" "javaws" "/usr/jdk/解压jdk名/bin/javaws" 300
sudo updatealternatives install "/usr/bin/javac" "javac" "/usr/jdk/解压jdk名/bin/javac" 300
sudo updatealternatives install "/usr/bin/javaws" "javaws" "/usr/jdk/解压jdk名/bin/javaws" 300
sudo updatealternatives config java
sudo updatealternatives config javac
sudo updatealternatives config javaws
sudo updatealternatives config javac
sudo updatealternatives config javaws
在普通用户下:
kaen@kaenpc:~$ java -version
下面输出
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
就大工完成!!!!!
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
就大工完成!!!!!
ssh
完全分布模式和单机伪分布模式都需要用到SSH,以保证在远程管理Hadoop节点以及Hadoop节点间用户共享访问时的安全性。
SSH登录类似于远程登录,登录某台Linux主机,并可在上面运行命令。
1.Ubuntu默认已经安装SSH Client, 我们还要安装SSH Server
1 | sudo apt-get install openssh-server |
需要密钥
创建一对 OpenSSL
$ssh-keygen
接着一直点enter
$cp .ssh/id_rsa.pub .ssh/authorized_keys
$ssh localhost
这下就不要密钥了
2.在用户hadoop命令行中输入
hadoop2.7.3:
将下载的 Hadoop 解压移动 /usr/local下,我们将 Hadoop 在这 目录下。
cd到local下
tar -zxvf hadoop 压缩文件u路径
mv hadoop2.7.3 hadoop # 重新命名
将目录更更改 件权限
$chown R hadoop hadoop #
将目录更更改 件权限虽然 Hadoop 在 /usr/local 中,也是针 有用户的,但是我们用账户 hadoop 来进行
测试, 更改 件权限不能不做,否则,在 面 ./sbin/startdfs.sh 遇no such file or directory 等错误。
使用 下命 查看是否 成功
1 cd /usr/local/hadoop
2 ./bin/hadoop version
添加hadoop环境变量(执行下面语句)
$export HADOOP_HOME=hadoop文件路径
$export PATH=$HADOOP_HOME/bin:$PATH
就直接在任何目录下可运行 hadoop version
单机模式配置
单机模式没有守护进程,其实无需进行SSH配置,所以上面SSH配置步可以省略。
1.打开/usr/local/hadoop/etc/hadoop/hadoop-env.sh
2.将
1 | export JAVA_HOME=${JAVA_HOME} |
处修改为
1 | export JAVA_HOME=/usr/jdk/jdk1.8.0_101 # 视Java安装位置而定 |
然后source hadoop-env.sh
以保存修改
此时单机模式就已配置完成。
采用 Hadoop 自带的示 WordCount 来测试单 模式是否 成功。
2. 在 /usr/local/hadoop 路径下创 input 目录,然 拷贝统计的输
input 中,然 执行。
采用 Hadoop 自带的示 WordCount 来测试单 模式是否 成功。
在 /usr/local/hadoop 路径下创 input 目录,拷贝统计的输README.txt到input
$mkdir input
$cp README.txt input
$hadoop jar share/hadoop/mapreduce/sources/hadoopmapreduceexamples2.7.3sources.jar org.apache.hadoop.examples.WordCount input output