接触大数据已经有将近三年多时间了,实际项目也有将近两年多,这篇文章写给哪些和我当初刚学大数据时的朋友们,让大伙少走点弯路,千里之行始于足下,所以还是从单节点的大数据集群环境搭建开始,后续我有时间会陆续进行更新新的博客。
准备工作
-
linux机器一台
-
hadoop-2.4.1 文件
-
hbase-1.0.0 文件
-
jdk-8u45-linux-i586.rpm 文件
-
spark-1.3.1 文件
将所有文件都传到linux系统/usr/local目录下
第一步:安装jdk
切换到jdk-8u45-linux-i586.rpm文件所在目录,执行rpm –ivh jdk-8u45-linux-i586.rpm
第二步:安装hadoop
-
将hadoop文件上传到linux的/usr/local目录下
-
切换到root用户下
-
生成ssh秘钥(公钥 id_rsa、私钥 id_rsa.pub)生成的路径为:/root/.ssh,用于无密码登录 ssh-keygen -t rsa
-
切换到秘钥目录 cd /root/.ssh
-
将公钥追加到authorized_keys文件中:
cat id_rsa.pub > authorized_keys
-
切换到 config 文件 cd /etc/selinux/
-
修改config