Hadoop集群搭建
单机版与分布时集群的构建
不温卜火
大数据开发/数据采集/数据清洗/数据分析/数据可视化
关注我!共同学习!!!
展开
-
Hadoop分布式环境搭建(简单高效~)
这篇博文,博主分享的是大数据集群的安装部署,简单实用,希望这篇文章能够帮助大家,在正式部署之前,我们需要提前做好准备工作。准备好三台虚拟机,ip分别为192.168.2.112,192.168.2.113,192.168.2.114。对应的主机名为hadoop002,hadoop003,hadoop004部署规划:三台机器准备工作:1.关闭防火墙 service iptab...原创 2020-04-22 10:40:16 · 5241 阅读 · 15 评论 -
在Linux中部署集群(零基础速学!)
博主上篇的文章讲的是伪分布式部署,那么接下来进行分布时的教学,先从搭建集群开始,为分布式开发环境做准备。目录1. 克隆虚拟机2. 更改系统的mac地址3. 更改网卡信息4. 更改主机名5. 添加别名6. 关闭防火墙7. 关闭selinux8. SCP远程文件拷贝9. SSH 远程登录1. 基于密码的登录2. 无密钥配置(免密登录)10. 总结1. 克隆虚拟机在这里我们直接克隆[Cent...原创 2020-04-22 09:52:01 · 5239 阅读 · 15 评论 -
一文教你快速了解伪分布式集群搭建(超详细!)
经过上一篇的引导,相信小伙伴们已经可以进行下面的操作了目录一. 启动HDFS1. 配置集群2. 启动集群3. 查看集群二. 启动YARN1. 配置集群2. 启动集群3. 在web上查看三. 配置历史服务器1. 配置mapred-site.xml2. 启动历史服务器3. 查看历史服务器是否启动4. web查看历史服务器是否启动四. 配置日志的聚集1. 配置yarn-site.xml2. 关闭N...原创 2020-04-21 12:47:36 · 5377 阅读 · 17 评论 -
[Centos版]Hadoop运行环境的具体搭建过程(超详细)
纠结了非常久,最终还是决定开始更新大数据集群类的文章了。目录一. 安装Linux1. 安装Linux(内存2G-4G,硬盘50G)2. 安装VMTools(可不装,不过装了方便)3. 关闭防火墙(重要)4. 设置静态IP,改主机名5. 配置hosts文件6. 创建用户名7. 配置用户为sudoers8. 创建文件夹,并赋权限给新建的用户名二. 安装JDK1. 上传文件到指定文件夹内2. 在L...原创 2020-04-21 09:06:52 · 8072 阅读 · 16 评论