前言:
hadoop主要应用场景:
数据分析平台;
推荐系统;
业务系统的底层存储系统;
业务监控系统。
实际应用:电子商务,能源开采,节能,在线旅游,诈骗检测,图像处理,IT安全等。
大三学校开设了hadoop的搭建和应用的课程,教材印刷2020年3月。随着网络的更新和不断发展,以后的搭建过程和应用也会不断地变化,当作一份记忆把学习的过程写在这里。
本节搭建工具和环境:
vm虚拟机,ubuntu系统,JAVA包(),hadoop包()
辅助工具:xshell6 and xftp (关于两个工具的使用请自行查找我的博客)
前期环境准备:
CPU:开启虚拟机cpu虚拟化
网络:开启NAT模式
真实主机网络:配置网卡和NAT模式相匹配
以下内容采用离线安装教程
设置cpu的虚拟化:
开启网卡:
设置网卡:
到虚拟机中设置NAT网络:
xshell工具和xftp,与服务器建立连接。(方便我们后期的操作)
使用工具在服务器上创建文件夹,并上传文件(这里的hbase压缩包暂时存放到/home目录下,稍后在hbase的配置过程中做讲解)
要想实现hadoop的搭建需要jdk包的环境配置: