ubuntu下Hadoop+mahout+spark安装配置

一、在Ubuntu下创建Hadoop组和hadoop用户

1、创建hadoop用户组

2、创建hadoop用户

 

3、为hadoop用户添加权限(sudoers文件位于/etc文件夹下)

 

二、重启，用新增加的hadoop用户hdp登录Ubuntu系统

三、安装ssh

sudo apt-get install openssh-server

安装完成后，启动服务

设置免密码登录，生成私钥和公钥

ssh-keygen -t rsa -P ""

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh localhost

退出

exit

四、安装Java环境

sudo apt-get install openjdk-7-jdk

查看安装结果，输入命令：java -version

五、安装hadoop2.2.0

sudo tar xzf hadoop-2.2.0.tar.gz

sudo chmod 774 /usr/local/hadoop-2.2.0

JAVA路径/usr/lib/jvm2/java

配置bashrc

sudo gedit ~/.bashrc

执行下面命，使添加的环境变量生效：

source ~/.bashrc

2）编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

六、WordCount测试

单机模式安装完成，下面通过执行hadoop自带实例WordCount验证是否安装成功

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jarorg.apache.hadoop.examples.WordCount input output

 

Mahout配置

环境变量

Spark

环境配置

运行./bin/run-example SparkPi 10 > Sparkpilog.txt例子程序