阿里云上部署java8和hadoop3.0、spark、hive及Mahout

1.安装JDK1.8

到oracle官网:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
linux是64位的,安装 jdk-8u131-linux-x64.tar.gz 

安装及配置参考http://blog.csdn.net/rchm8519/article/details/48721913

/usr/jdk就是一个链接目录。实际的java目录为/usr/java


2.安装Hadoop3.0

到hadoop官网:http://hadoop.apache.org/releases.html

这里我选择的是最新版Hadoop3.0 alpha3 binary版本。注
意source版本是需要自己编译的,而binary是已经编译好,可以直接运行的。
下面是binary版本的下载地址:
http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz

tar -xzvf hadoop-3.0.0-alpha3.tar.gz
将解压目录移动到/usr/local,并重命名:
mv /download/hadoop-3.0.0-alpha3 /usr/local/hadoop


接下来就修改hadoop配置文件:
http://www.cnblogs.com/hehaiyang/p/4477626.html#label_2
文件路径为/usr/local/hadoop/etc/hadoop/,配置hadoop-env.sh。


中间3行export是我添加的。

然后再次修改/etc/profile,

添加下面的两句。
OK。

然后设置免密登陆,生成ssh密钥。
ssh-keygen -t rsa

ssh-copy-id localhost 
输入密码,搞定。


最后测试一下是否安装成功,输入:
hadoop
此时会显示hadoop文档

对于要伪分布式运行,要配置core-site.xml和hdfs-site.xml文件,参考:

core-site.xml 
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>


尝试伪分布式运行,出错提示:
ERROR: Attempting to launch hdfs secondarynamenode as root

ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.

按如下网站方法解决:
https://www.vastyun.com/bloger/179.html
成功运行。

3.安装Spark

4.安装Hive

5.安装Mahout




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值