Hdaoop环境配置及中文分词加排序

1.centos7虚拟机

 

 

 

 

 

 

 

2.配置jdk7

安装JDK

 

上传新的jdk-7-linux-x64.rpm软件到/usr/local/执行以下操作： 

 

 

配置环境变量 ： 
修改系统环境变量文件 

 

vi + /etc/profile 

 

 

 

 

向文件里面追加以下内容： 

 

JAVA_HOME=/usr/java/jdk1.7.0

 JRE_HOME=/usr/java/jdk1.7.0/jre

 PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

 export JAVA_HOME JRE_HOME PATH CLASSPATH  

 

使修改生效 

 

[root@admin local]# source /etc/profile   //使修改立即生效 

[root@admin local]#        echo $PATH   //查看PATH值  

 

输入Java

 

输入Javac

 

配置成功！

 

 

3. 安装ssh

rpm -qa |grep ssh  #检查是否装了SSH包  

 

     chkconfig --list sshd #检查SSHD是否设置为开机启动  

  

关闭SELinux

修改/etc/selinux/config文件

将SELINUX=enforcing改为SELINUX=disabled

 

 2） 配置ssh无密码登录

生成密钥 

ssh-keygen -t rsa -P ""  

 

 

 

进入.ssh目录

 

将id_rsa.pub追加到authorized_keys文件中

 

Ssh登录报Warning:Permanently added (RSA) to the list of known hosts错误

yum install openssh-server 命令重新安装ssh  

接着

 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

修改.ssh和authorized_keys的访问权限

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

 再

 

 

免登录成功！

4.安装hadoop

 

 

export JAVA_HOME=/usr/local/jdk1.7.0_45

配置hadoop 的环境变量

 

su  

vim /etc/profile  

 

设置hadoop-env.sh中的java环境变量 

 

             

配置core-site.xml，hdfs-site.xml ，yarn-site.xml 

 

 

 

 

 

 

接下来创建需要的文件夹 

 

首先格式化文件系统

 

 

 

 

 

启动 

 

检查是否启动

 

安装成功！

 

5.安装好eclipse运行中文分词统计程序

 

 

 

 

 

 

中文分词并词频统计加排序去标点

实验成功！