- 博客(7)
- 收藏
- 关注
RSS订阅原创 从零开始搭建CDH（三）---观察HDFS
之前在CDH上安装好了服务HDFS，这里观察一下HDFS包括数据持久化和文件读写在内的一些工作流程。目录1. 数据持久化观察2. HDFS文件读写观察2.1 新建文件目录2.2 上传文件2.3 下载文件1. 数据持久化观察 进入HaDoop页面观察其启动过程： 加载镜像文件fsimage 加载日志文件edits 保留checkpoint ...
2021-08-11 17:27:52
727
原创 HDFS中的NameNode 检查点问题
今天在登录CDH后发现HDFS上存在运行状况报警 由于CM会默认每隔1小时SNN会执行checkpoint操作，初步分析是SNN的checkpoint操作存在问题引起，查看SNN日志，发现如下报错。 很明显是由于SNN和NN的集群ID对不上导致的，分别查看NN所在节点（此处节点node0，文件路径/dfs/nn/current）和SNN所在节点（此处节点node1，文件路径/dfs/snn/current）的version文件确认。 ...
2021-08-10 16:15:02
614
原创 从零开始搭建CDH（二）
上一篇，我们从零开始搭建好了ClouderaManager的安装环境。接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。创建集群并安装HDFS服务选择功能授权版本 ->> 创建集群 ->> 为集群添加服务1. 版本选择1.1 使用默认用户名密码登录CM用户名：admin密码：admin1.2 登录成功来到环境界面-继续1.3 接受许可条款-继续1.4 根据需要选择版本-继续我们这里选择免费版,免费版的CDH...
2021-08-04 18:45:03
429
原创 从零开始搭建CDH（一）
1.建立集群参考文章：CentOS7虚拟机克隆，且成功互ping将之前搭建好的虚拟机进行两次克隆，得到3台虚拟机，修改克隆出来机器的网卡配置删除UUID （文章中说还需要删除MAC地址信息HWADDR，我的ifcfg-ens33中无此信息），并分别修改两台克隆机ip地址为192.168.137.101、192.168.137.102，保存退出，重启网络。（参考文章中提到需要删除/etc/udev/rules.d/70-persistent-net.rules，我的机器中没有这个文件，原.
2021-08-02 15:11:47
1364
1
原创 配置本地yum源
1.yum是什么Linux yum是什么，yum源配置（网络yum源和本地yum源）yum，全称“Yellow dog Updater, Modified”，是一个专门为了解决包的依赖关系而存在的软件包管理器。就好像 Windows 系统上可以通过 360 软件管家实现软件的一键安装、升级和卸载，Linux 系统也提供有这样的工具，就是 yum。可以这么说，yum 是改进型的 RPM 软件管理器，它很好的解决了 RPM 所面临的软件包依赖问题。yum 在服务器端存有所有的 RPM 包，并将各..
2021-07-28 11:32:20
2072
原创 VM虚拟机centOS网络设置
第一次配置，留个笔记参考文章虚拟机连接不上网络，解决办法简单的介绍了VM虚拟机常用的三种网络连接方式，一般用NAT方式虚拟机就很容易上网的，所以一般没有特殊要求推荐用NAT方式。NAT：就是网络地址转换，通过VMnet8连接作为网关使虚拟机经过主机上网。现在虚拟机是通过VMnet8与外界联系，说的通俗的就是在你的主机和虚拟机之间加了一个路由器，虚拟机通过这个路由器上网。NAT方式就不用考虑那么多，只要你主机能上网虚拟机就能上网，所以一般没有特殊要求推荐用NAT方式。VMware虚拟...
2021-07-27 18:44:17
922
原创 CentOS7 Failed to start LSB: Bring up/down解决方法
百度答案：mac地址不对，修改mac地址。未添加新网卡或者克隆的虚拟机，mac不应该有问题。看到这篇博客，尝试下，解决问题。CentOS7 Failed to start LSB: Bring up/down解决方法 - 菠萝皮 - 博客园 (cnblogs.com)记录一下...
2021-07-27 17:17:51
85
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人