- 博客(11)
- 收藏
- 关注
转载 [转]HDFS追本溯源:租约,读写过程的容错处理及NN的主要数据结构
1. Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease...
2020-04-12 00:26:38
297
原创 使用prometheus监控HBase与Hadoop
Prometheusprometheus介绍:prometheus官网:https://prometheus.io/安装下载安装包https://prometheus.io/download/选择操作系统开始下载:解压安装tar xvfz prometheus-*.tar.gzcd prometheus-*修改配置文件配置prometheus检查自身状态Save...
2020-03-04 13:08:45
3653
原创 大数据运营第一线
mysql安装下载安装包解压到指定目录创建并修改配置文件my-3306.cnf初始化数据库启动mysql查看是否启动成功下载安装包解压到指定目录https://dev.mysql.com/downloads/mysql/下载二进制安装包创建并修改配置文件my-3306.cnfmkdir $MysqlInstallDir/confvim $MysqlInstallDir/conf/my...
2019-12-19 15:36:02
178
原创 hadoop源代码调试
调试方法使用如下方法调试第一步:在启动Hadoop历史服务器进程之前在终端加入以下环境配置:[wyp@date52 /home/wyp/hadoop]$ export HADOOP_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=50070"这里对上面的几个参数进行说明:-Xde...
2019-09-25 01:12:40
530
原创 hadoop源码研究 编译错误记录
文章目录hadoop-common编译失败hadoop-nodemanager编译失败hadoop-common编译失败编译错误如下[WARNING] See also "/project/hadoop-3.2.0-src/hadoop-common-project/hadoop-common/target/native/CMakeFiles/CMakeOutput.log".[INF...
2019-01-31 10:32:25
8995
原创 hadoop源码分析 编译hadoop源码
使用git管理属于自己的hadoop源代码基本工具安装hadoop源码下载编译hadoop源码安装编译工具编译基本工具安装申请github账号去github官网申请账号:https://github.com/比如,申请了一个这样的账号:test本地安装git工具brew install git配置git生成使用git用户的ssh公私钥(由于我使用hadoop用户进行ha...
2019-01-29 17:09:51
937
原创 hadoop源码研究 (环境准备)集群自动化安装
基本工具安装安装ansible是一个自动化管理工具,当集群规模较大时,可以很方便的与被管理服务器交互。安装ansible//在Mac环境下,可以轻松的使用brew管理工具来安装brew reinstall telnet验证安装是否成功。执行:ansible --version,如果出现下图则说明安装成功。ansible 2.7.6 config file = None...
2019-01-28 16:15:42
219
原创 hadoop集群安装完毕后,本地访问连接拒绝
安装hadoop集群完成后,本地无法访问浏览器访问,提示连接拒绝Mac本地Telnet排查,发现端口连接拒绝:Trying 172.16.12.139...telnet: connect to address 172.16.12.139: Connection refusedtelnet: Unable to connect to remote host设置防火墙登录服务器s0查...
2019-01-27 13:53:26
5917
原创 hadoop源码研究 一(环境准备)
服务器免密码配置安装准备免密码配置准备hadoop安装包安装准备免密码配置环境:VM Fusion创建的5台虚拟机(centos7)主机名服务s0主节点s1主节点s2slaves3slaves3slave分别配置从s0,s1到s0-s5的免密;本人采用hadoop用户搭建,因此首先在5台Linux服务器上分别创建hadoop用...
2019-01-18 22:02:37
154
原创 hadoop源码研究 一(环境准备)
(一).手动搭建大数据集群本篇讲解虚拟机配置创建虚拟机配置静态IP1.下载centos7,根据提示一步步安装。很简单,可以参考:https://www.cnblogs.com/kevingrace/p/7532884.html注意,安装虚拟机时需要将网络开关打开。2.启动虚拟机,将ens33虚拟网卡,设置ONBOOT=yes.3.配置静态IP注意s0为虚拟机名称,要与vm fu...
2019-01-17 19:46:45
187
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人