hadoop大数据平台搭建与应用(1)hadoop安装

本文介绍了在Ubuntu环境下使用虚拟机搭建Hadoop大数据平台的步骤,包括前期环境准备、JDK安装、Hadoop配置及伪分布式模式设置。通过修改配置文件、格式化NameNode、启动相关服务,最终成功访问Hadoop Web界面。文章旨在记录学习过程,帮助理解Hadoop在数据分析、推荐系统等领域的应用。
摘要由CSDN通过智能技术生成

前言:

hadoop主要应用场景:

数据分析平台;

推荐系统;

业务系统的底层存储系统;

业务监控系统。

实际应用:电子商务,能源开采,节能,在线旅游,诈骗检测,图像处理,IT安全等。

大三学校开设了hadoop的搭建和应用的课程,教材印刷2020年3月。随着网络的更新和不断发展,以后的搭建过程和应用也会不断地变化,当作一份记忆把学习的过程写在这里。

本节搭建工具和环境:

vm虚拟机,ubuntu系统,JAVA包(),hadoop包()

辅助工具:xshell6 and xftp   (关于两个工具的使用请自行查找我的博客)

前期环境准备:

CPU:开启虚拟机cpu虚拟化

网络:开启NAT模式

真实主机网络:配置网卡和NAT模式相匹配

以下内容采用离线安装教程

设置cpu的虚拟化:

开启网卡:

设置网卡:

到虚拟机中设置NAT网络:

xshell工具和xftp,与服务器建立连接。(方便我们后期的操作)

使用工具在服务器上创建文件夹,并上传文件(这里的hbase压缩包暂时存放到/home目录下,稍后在hbase的配置过程中做讲解)

要想实现hadoop的搭建需要jdk包的环境配置:

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值