Ubuntu Kylin中在Hadoop的环境下对各个单词出现次数进行统计
安装Ubuntu
这里贴一个ubuntu的官方网站链接,可以下载到ubuntu 16.04的iso文件
创建hadoop环境
在终端中创建名为hadoop的用户,使用 /bin/bash 作为 shell。
下面展示一些 内联代码片
。
sudo apt-get install vim
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
接着使用如下命令设置密码,密码随便设置,记得住就好。
sudo apt-get install openssh-server
为 hadoop 用户增加管理员权限,不加的话后面步骤不能进行。
ssh localhost
注销以下,然后用刚创建的 hadoop 用户进行登陆
更新apt
在终端窗口输入命令更新apt,如果不更新的话可能导致后面步骤无法完成
sudo apt-get update
如果有命令更新无效可以更改软件源解决。
这里安装一下vim
sudo apt-get install vim
安装Java环境
下载安装jdk的官网地址为:
链接: http://www.oracle.com/technetwork/java/javase/downloads/index.html。.
点击安装,然后点击下一步,知道安装完毕。
接下里在Linux命令行界面中执行如下命令
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd 下载 #英文注意区分大小写字母,刚才已经通过把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下
JDK文件解压缩以后,可以执行如下命令到解压目录下查看
cd /usr/lib/jvm
ls
接下来设置JAVA环境变量
cd ~
vim ~/.bashrc
打开环境变量配置.bashrc文件
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${
JAVA_HOME}/jre
export CLASSPATH=.:${
JAVA_HOME}/lib:${
JRE_HOME}/lib
export PATH=${
JAVA_HOME}/bin:$PATH
保存文件并退出编辑器
:wq
执行如下命令使得配置生效
source ~/.bashrc
这时候可以使用如下命令查看是否安装成功
java -version
安装Hadoop
Hadoop官网:http://hadoop.apache.org/.
我这里用的Hadoop版本下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/.
先将Hadoop安装到目标文件夹
sudo tar -zxf ~/下载/hadoop-2.10.0.tar.gz -C /usr/local #解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop #将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop #修改文件权限
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop