- 博客(11)
- 收藏
- 关注
RSS订阅转载 [转]HDFS追本溯源：租约，读写过程的容错处理及NN的主要数据结构
1. Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease...
2020-04-12 00:26:38
297
原创 使用prometheus监控HBase与Hadoop
Prometheusprometheus介绍：prometheus官网：https://prometheus.io/安装下载安装包https://prometheus.io/download/选择操作系统开始下载：解压安装tar xvfz prometheus-*.tar.gzcd prometheus-*修改配置文件配置prometheus检查自身状态Save...
2020-03-04 13:08:45
3653
原创 大数据运营第一线
mysql安装下载安装包解压到指定目录创建并修改配置文件my-3306.cnf初始化数据库启动mysql查看是否启动成功下载安装包解压到指定目录https://dev.mysql.com/downloads/mysql/下载二进制安装包创建并修改配置文件my-3306.cnfmkdir $MysqlInstallDir/confvim $MysqlInstallDir/conf/my...
2019-12-19 15:36:02
178
原创 hadoop源代码调试
调试方法使用如下方法调试第一步：在启动Hadoop历史服务器进程之前在终端加入以下环境配置：[wyp@date52 /home/wyp/hadoop]$ export HADOOP_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=50070"这里对上面的几个参数进行说明：-Xde...
2019-09-25 01:12:40
530
原创 hadoop源码研究 编译错误记录
文章目录hadoop-common编译失败hadoop-nodemanager编译失败hadoop-common编译失败编译错误如下[WARNING] See also "/project/hadoop-3.2.0-src/hadoop-common-project/hadoop-common/target/native/CMakeFiles/CMakeOutput.log".[INF...
2019-01-31 10:32:25
8995
原创 hadoop源码分析 编译hadoop源码
使用git管理属于自己的hadoop源代码基本工具安装hadoop源码下载编译hadoop源码安装编译工具编译基本工具安装申请github账号去github官网申请账号：https://github.com/比如，申请了一个这样的账号：test本地安装git工具brew install git配置git生成使用git用户的ssh公私钥(由于我使用hadoop用户进行ha...
2019-01-29 17:09:51
937
原创 hadoop源码研究 （环境准备）集群自动化安装
基本工具安装安装ansible是一个自动化管理工具，当集群规模较大时，可以很方便的与被管理服务器交互。安装ansible//在Mac环境下，可以轻松的使用brew管理工具来安装brew reinstall telnet验证安装是否成功。执行：ansible --version，如果出现下图则说明安装成功。ansible 2.7.6 config file = None...
2019-01-28 16:15:42
219
原创 hadoop集群安装完毕后，本地访问连接拒绝
安装hadoop集群完成后，本地无法访问浏览器访问，提示连接拒绝Mac本地Telnet排查，发现端口连接拒绝：Trying 172.16.12.139...telnet: connect to address 172.16.12.139: Connection refusedtelnet: Unable to connect to remote host设置防火墙登录服务器s0查...
2019-01-27 13:53:26
5917
原创 hadoop源码研究 一（环境准备）
服务器免密码配置安装准备免密码配置准备hadoop安装包安装准备免密码配置环境：VM Fusion创建的5台虚拟机（centos7）主机名服务s0主节点s1主节点s2slaves3slaves3slave分别配置从s0,s1到s0-s5的免密；本人采用hadoop用户搭建，因此首先在5台Linux服务器上分别创建hadoop用...
2019-01-18 22:02:37
154
原创 hadoop源码研究 一（环境准备）
（一）.手动搭建大数据集群本篇讲解虚拟机配置创建虚拟机配置静态IP1.下载centos7，根据提示一步步安装。很简单，可以参考：https://www.cnblogs.com/kevingrace/p/7532884.html注意，安装虚拟机时需要将网络开关打开。2.启动虚拟机，将ens33虚拟网卡，设置ONBOOT=yes.3.配置静态IP注意s0为虚拟机名称，要与vm fu...
2019-01-17 19:46:45
187
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人