大数据生态圈单节点环境搭建(hadoop、hbase、spark等)

这篇博客详细介绍了如何在Linux环境下,一步步搭建大数据单节点环境,包括安装jdk、hadoop、hbase和spark。通过修改配置文件、设置环境变量、格式化namenode等步骤,最终成功启动hadoop、hbase和spark,并能通过Web界面进行访问和管理。适合初学者参考。
摘要由CSDN通过智能技术生成

       接触大数据已经有将近三年多时间了,实际项目也有将近两年多,这篇文章写给哪些和我当初刚学大数据时的朋友们,让大伙少走点弯路,千里之行始于足下,所以还是从单节点的大数据集群环境搭建开始,后续我有时间会陆续进行更新新的博客。

 

准备工作

  1. linux机器一台

  2. hadoop-2.4.1 文件

  3. hbase-1.0.0  文件

  4. jdk-8u45-linux-i586.rpm 文件

  5. spark-1.3.1 文件

将所有文件都传到linux系统/usr/local目录下

第一步:安装jdk

切换到jdk-8u45-linux-i586.rpm文件所在目录,执行rpm ivh jdk-8u45-linux-i586.rpm 

第二步:安装hadoop

  1. hadoop文件上传到linux/usr/local目录下



      

     

  2. 切换到root用户下



      

     

  3. 生成ssh秘钥(公钥 id_rsa、私钥 id_rsa.pub)生成的路径为:/root/.ssh,用于无密码登录   ssh-keygen -t rsa



      

  4. 切换到秘钥目录     cd /root/.ssh



      

     

  5. 将公钥追加到authorized_keys文件中:

     cat id_rsa.pub > authorized_keys



      

     

  6. 切换到 config 文件   cd /etc/selinux/



      

  7. 修改config

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值