CDH5部署三部曲之一：准备工作(1)

于 2024-05-16 08:13:26 发布
阅读量733 收藏 9
点赞数 16
文章标签： java 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84023290/article/details/138941267
版权

最后总结我的面试经验

2021年的金三银四一眨眼就到了，对于很多人来说是跳槽的好机会，大厂面试远没有我们想的那么困难，摆好心态，做好准备，你也可以的。

另外，面试中遇到不会的问题不妨尝试讲讲自己的思路，因为有些问题不是考察我们的编程能力，而是逻辑思维表达能力；最后平时要进行自我分析与评价，做好职业规划，不断摸索，提高自己的编程能力和抽象思维能力。

BAT面试经验

实战系列：Spring全家桶+Redis等

其他相关的电子书：源码+调优

面试真题：

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

第一篇：《准备工作》，即CDH集群中每一台机器都要做的操作；

第二篇：《部署和设置》，本章完成CDH集群部署和启动；

第三篇：《问题总结》，列出实战中遇到的问题及解决办法；

系列文章链接

  1. 《CDH5部署三部曲之一：准备工作》

  2. 《CDH5部署三部曲之二：部署和设置》

  3. 《CDH5部署三部曲之三：问题总结》

版本信息

  1. CentOS：7.6.1810

  2. Python： 2.7.5（操作系统自带）

  3. CM包：cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

服务器规划

本次搭建的CDH集群一共用到三台机器，一台master，另外两台是agent：

| 主机名 | IP地址 | 内存 | 身份 |

| — | — | — | — |

| master | 192.168.133.152 | 双核4G内存 | 管理节点 |

| worker1 | 192.168.133.153 | 双核8G内存 | 任务节点 |

| worker2 | 192.168.133.154 | 双核16G内存 | 任务节点 |

文件下载

  1. cm下载地址：http://archive.cloudera.com/cm5/cm/5/ ，找到自己需要的cm包下载，本次实战用的是cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz，如下图红框：

在这里插入图片描述

  1. parcel下载地址：http://archive.cloudera.com/cdh5/parcels ，本次实战用到的是CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel，请下载下图红框中的三个文件，注意一共要下载三个文件：

在这里插入图片描述

所有机器都要做的相同操作

以下操作需要master、worker1、worker2各自做一遍：

  1. 本次实战在所有机器上的操作，都使用root账号；

  2. 确保所有机器都可以用SSH工具远程登录；

  3. 安装时间同步工具：

yum install -y ntpdate

  1. 时间同步：

ntpdate cn.ntp.org.cn

  1. 关闭和禁用防火墙：

systemctl stop firewalld && systemctl disable firewalld

  1. 关闭SELINUX：打开文件/etc/selinux/config，找到SELINUX=xxx那一行，改为SELINUX=disabled，如下图红框：

在这里插入图片描述

  1. 关闭swap：打开文件/etc/fstab，找到带有swap的那一行，注释掉，如下图红框：

在这里插入图片描述

  1. 重启电脑；

  2. 新建文件夹/usr/lib/jvm

  3. 安装JDK，我这里下载的是jdk-8u191-linux-x64.tar.gz，解压后是个名为jdk1.8.0_191的文件夹，将此文件夹放在/usr/lib/jvm目录下；

  4. 打开文件/etc/profile，在尾部增加以下内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.: J A V A H O M E / l i b : {JAVA_HOME}/lib: JAVAH​OME/lib:{JRE_HOME}/lib

export PATH= J A V A H O M E / b i n : {JAVA_HOME}/bin: JAVAH​OME/bin:PATH

  1. 使配置生效：

source /etc/profile

  1. CDH默认的JDK目录是 /usr/java/default，因此要创建软链接，执行以下命令：

mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default

  1. 检查Python是否可用，如果没有还请自行安装，本次用到的是2.6或者2.7版本：

在这里插入图片描述

  1. 安装多个依赖包：

yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

  1. 创建目录：

mkdir /opt/cloudera-manager

  1. 把前面准备好的文件cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz上传到master，执行以下命令将该文件解压到/opt/cloudera-manager目录：

最后：学习总结——MyBtis知识脑图（纯手绘xmind文档）

学完之后，若是想验收效果如何，其实最好的方法就是可自己去总结一下。比如我就会在学习完一个东西之后自己去手绘一份xmind文件的知识梳理大纲脑图，这样也可方便后续的复习，且都是自己的理解，相信随便瞟几眼就能迅速过完整个知识，脑补回来。下方即为我手绘的MyBtis知识脑图，由于是xmind文件，不好上传，所以小编将其以图片形式导出来传在此处，细节方面不是特别清晰。但可给感兴趣的朋友提供完整的MyBtis知识脑图原件（包括上方的面试解析xmind文档）

image

除此之外，前文所提及的Alibaba珍藏版mybatis手写文档以及一本小小的MyBatis源码分析文档——《MyBatis源码分析》等等相关的学习笔记文档，也皆可分享给认可的朋友！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

所提及的Alibaba珍藏版mybatis手写文档以及一本小小的MyBatis源码分析文档——《MyBatis源码分析》等等相关的学习笔记文档，也皆可分享给认可的朋友！

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

2401_84023290
关注
  • 16
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
win10系统java环境变量配置
m0_62367187的博客
05-31 1120
添加path： %JAVA_HOME%\bin;七、添加变量名: JAVA_HOME 变量值（jdk安装路径，上面有提到过）八：验证java环境变量是否配置好：cmd 输入 java -version。三、双击exe安装jdk。cmd 输入 java。二、下载jdk安装包。
java安装教程
小白学CS
05-06 9万+
java安装教程
【2】Win10安装Java 配置环境变量
技术管理修行
06-01 4270
java环境变量配置是进行java语言研究学习的第一步，接下来的文章，将研究学习java最基础、最重要的部分。在未来工作的工作中，无论是代码的质量还是学习新的技术都需要牢固的java基础知识作支撑。
JDK下载与安装教程
热门推荐
墨笙弘一
06-18 116万+
学习JAVA，必须得安装一下JDK(java development kit java开发工具包)，配置一下环境就可以学习JAVA了，下面是下载和安装JDK的教程： 1.JDK下载地址： http://www.oracle.com/technetwork/java/javase/downloads/index.html点开链接你应该看到如下图所示的界面： 2.点击上图中箭头所指的地方，会出
IDEA热部署插件JRebel使用解决方案
weixin_51702416的博客
06-08 9058
JRebel是一款JVM插件，它使得Java代码修改后不用重启系统，立即生效。IDEA上原生是不支持热部署的，一般更新了 Java 文件后要手动重启整个项目，才能生效，使用JRebel后，可以不用重启便可将修改加载进web页面，非常的高效。目前对于idea热部署最好的解决方案就是安装JRebel插件。2. 安装插件这一步很重要！点击下面的链接；并复制这个生成的URL（其他的攻略都很复杂，这个可以一键生成GUID对应的URL）生成 GUID 的网址 https://www.guidgen.com/用这个网址
CDH5集群部署指南
02-19
Linux系统下，完全分布式CDH5（Hadoop）集群部署指南。
Cloudera Manager CDH 5.12部署安装
08-30
CDH部署安装文档，纯手敲非复制，有截图，一看就懂
CDH6.3.2集群部署手册
最新发布
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
大数据平台CDH6.2.0安装部署
10-27
三、部署CDH Parcel文件 CDH Parcel文件是Cloudera提供的大数据平台安装包，包含了Hadoop、Hive、Impala等组件。部署CDH Parcel文件需要将Parcel文件上传到/opt/cloudera/parcel-repo目录下，并更改文件的所有权。 ...
CDH HA部署
11-09
CDH HA部署　
秒杀系统java实现
06-19
java实现秒杀系统@Controller @RequestMapping("seckill")//url:/模块/资源/{id}/细分 /seckill/list public class SeckillController { private final Logger logger = LoggerFactory.getLogger(this.getClass()); @Autowired private SeckillService seckillService; @RequestMapping(value="/list",method = RequestMethod.GET) public String list(Model model){ //获取列表页 List list=seckillService.getSeckillList(); model.addAttribute("list",list); //list.jsp+model = ModelAndView return "list";//WEB-INF/jsp/"list".jsp } @RequestMapping(value = "/{seckillId}/detail",method = RequestMethod.GET) public String detail(@PathVariable("seckillId") Long seckillId, Model model){ if (seckillId == null){ return "redirect:/seckill/list"; } Seckill seckill = seckillService.getById(seckillId); if (seckill == null){ return "forward:/seckill/list"; } model.addAttribute("seckill",seckill); return "detail"; } //ajax json @RequestMapping(value = "/{seckillId}/exposer", method = RequestMethod.POST, produces = {"application/json;charset=UTF-8"}) @ResponseBody public SeckillResult exposer(@PathVariable("seckillId") Long seckillId){ SeckillResult result; try { Exposer exposer =seckillService.exportSeckillUrl(seckillId); result = new SeckillResult(true,exposer); } catch (Exception e) { logger.error(e.getMessage(),e); result = new SeckillResult(false,e.getMessage()); } return result; } @RequestMapping(value = "/{seckillId}/{md5}/execution", method = RequestMethod.POST, produces = {"application/json;charset=UTF-8"} ) @ResponseBody public SeckillResult execute(@PathVariable("seckillId")Long seckillId,
Java实现电商秒杀项目
09-07
电商秒杀项目设计方案 项目启动时将商品库存信息缓存到redis 当前用户秒杀商品时，首先去redis查询用户是否秒杀商品，没秒杀过，再去数据库查询，若该用户已秒杀过商品则不能，在参与秒杀同样商品。 若用户没有参与过秒杀商品，则去redis缓存预减库存，库存数量少于0，则返回错误信息。 预减库存成功后，将订单任务发送到MQ。 MQ收到订单消息后，到数据库预减库存。 若数据库库存减成功，生成订单和秒杀订单并将订单信息缓存到redis，否则将错误信息缓存到数据库里。 前端通过用户id和商品id，轮询查看秒杀结果，后端先去redis查询订单信息不存在，就去数据库查询，查询成功则返回秒杀结果信息。 若缓存和数据库都查询失败，则继续去redis查询是否有秒杀订单失败信息比如库存不足等信息，若存在则返回秒杀失败，否则返回该订单下单正在排队中。 接口
JAVA 商品秒杀demo
08-04
实现商品秒杀
项目实现秒杀
04-12
秒杀业务分析、架构规则、高并发带来的挑战、高并发下的数据安全以及秒杀的三种优化思路
java高并发买秒杀完整代码
06-12
Java 高并发 spring springMVC mybatis bootstrap js readis 存储过程 mysql
SpringBoot热部署插件原理分析及实战演练
kxkxyzyz的博客
05-29 365
以 Tomcat 为例，它首先校验是否开启了热部署，并且发生了修改，它有一个后台线程，定期进行 reload 检测，如果检测需要重新部署，即热部署，则先停止，然后启动，这期间会清理 session，清空内存。在没有使用热部署的情况下，一个稍微大点的项目启动就要七八秒甚至十几秒的启动时间，当然这取决于你的机器性能，不过毫无疑问，不管你的机器性能如何强大，也耗不过日益增长的项目体量，所以迫切需要无需重新启动项目也能将代码的增加修改同步到服务器的手段。所以，在我们使用这个工具前，需要做到知其然知其所以然。
Java秒杀系统
WM_CARA的博客
07-23 1520
目录 第一章 项目框架搭建 第二章 实现登录功能 数据库设计 明文密码两次MD5处理 JSR303参数校验+全局异常处理器 分布式session 第三章 实现秒杀功能 数据库设计 商品列表页 商品详情页 秒杀功能实现 订单详情页 第四章 JMeter压测 JMeter入门 自定义变量模拟多用户 JMeter命令行使用 Redis的压测工具redis-benchm...
pmp考试是什么？
m0_60428752的博客
11-22 1928
由美国项目管理学会（Project Management Institute，缩略为PMI）举办的。PMI 从1984年就推出了项目管理专业人员的认证（PMP），他们注重知识的完整性，在达到了从事项目管理工作时间和数量的基本要求上，1987年他们推出了项目管理知识体系指南（Project Management Body of Knowledge），简称PMBOK，也就是现在的考试教科书，目前是用《PMBOK 》第六版，第七版已经出来，相信过不了不久就会更新了。pmp 旧考纲。
Windows10 java环境变量的配置详细教程（Windows10 和Windows11）
UrasakiNakajima的博客
06-11 7651
加的方法就是这样的C:后边直接添加变量值，然后点击 确定（如果想改成第一种可以联系我）。4.在系统变量，选择 新建，变量名是JAVA_HOME，变量值必须是自己装jdk时的路径，比如我的安装路径是C:\Program Files\Java\jdk-12.0.1，然后点击 确定。8.最后，就是测试自己配置的是否成功了，打开dos命令，有两种方式打开。9.进入dos命令，输入java -version，点击 Enter，首先，右击 此电脑，选择 属性。​​​​​​​再点击确定。首先，右键，点击个性化。
CDH部署 hadoop
08-17
您好！对于CDH（Cloudera Distribution for Hadoop）的部署和Hadoop的安装和配置，可以按照以下步骤进行操作： 1. 准备环境：确保您的服务器满足CDH的硬件和软件要求。您可以参考Cloudera官方文档中的系统要求来进行设置。 2. 下载CDH：从Cloudera官方网站下载CDH的二进制安装包。选择适合您系统的版本和发布日期。 3. 安装CDH：解压下载的安装包，并按照Cloudera提供的文档进行安装。通常情况下，您需要运行一个shell脚本来启动安装过程。 4. 配置CDH：在CDH安装完成后，您需要进行一些配置。这包括配置Hadoop的核心组件（如HDFS和YARN）、设置网络参数和配置用户访问权限等。 5. 启动CDH服务：一旦配置完成，您可以启动CDH服务。使用Cloudera提供的命令行工具或Web界面，您可以启动、停止和管理各个服务。 6. 验证部署：通过访问Cloudera管理界面或运行一些Hadoop命令，您可以验证CDH部署的正确性。确保各个服务正常运行并且可以访问到数据。 以上是一个大致的CDH部署过程，具体操作可能会根据您的环境和需求有所不同。建议您参考Cloudera官方文档中的详细指南，以确保正确地部署和配置CDH。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值