大数据
laughing1997
这个作者很懒,什么都没留下…
展开
-
hbase 1.3.2 源码 IDEA编译执行
最近一直在研究hbase源码,一直心心念念要把hbase源码在idea上面跑起来。方便自己调试查看,而且好好研究里面的测试用例,因为一直只是看hbasefsck这块源码,以及创建表等等。想再具体执行。期间编译源码,遇到不少坑。时间关系,不能一一阐述。总结性说几句:1、大数据的组件源码,maven或者构建项目的骨架软件版本非常重要。尽量选择版本旧,稳定版的。别用最新。本人亲测,从maven 3...原创 2020-03-16 00:40:22 · 2223 阅读 · 0 评论 -
cdh 5.12.1 集成kylin (apache-kylin-2.6.0-bin-cdh57)记录
环境:cdh5.12.1+jdk1.8我的hadoop,hdfs,mapreduce2,hbase,zookeeper spark的版本如下:spark我做了升级,升级到了SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel注意,cdh的组件。el6和el7的区别。就是el6是centos6.x版本的,el7是centos7.x版...原创 2019-12-23 22:34:23 · 544 阅读 · 0 评论 -
hbase安装(0.98.x)-LMS日志结构型数据库
前言:数据库,按照数据库的存储结构来区分的话,key-value数据结构:其中比较出名的有redis这种;二叉树类型的数据结构:比较出名的是mysql和oracle;LMS日志结构性数据库:就是hbase。以下,大致讲解下hbase怎么去配置单机,伪分布式,完全分布式。首先是hbase版本对应的信息如下:前提条件,安装jdk 和 hadoop,并配置了环境变量1.单机模式直接解...原创 2018-10-18 11:22:18 · 481 阅读 · 0 评论 -
hadoop NN元数据管理机制
hdfs文件写入流程NN采用读写分离机制元数据合并机制原创 2018-10-18 16:15:57 · 290 阅读 · 0 评论 -
eclipse配置hadoop运行环境
将如下文件解压并复制放置在对应eclipse的文件夹下的bin目录。覆盖进去配置环境变量%HADOOP_HOME%\bin将插件文件拷贝到c盘Windows的system32目录下原创 2018-10-18 16:18:32 · 2036 阅读 · 0 评论 -
IDEA-2018版本的hadoop 2.7.1 插件安装教程(自制插件)
IDEA的hadoop插件配置教程版本要求:IDEA 2017年及2017年以后的版本。hadoop:2.7.x。(目前测试2.7.1没问题,由于是自己制作的插件,目前这些版本是可行的)插件下载地址:(由于找不到比较好的公链供大家下载,所以我把插件上传到QQ群。QQ群会自动同意的。需要的加群下载。文件就放在群文件里面)一:打开IDEA,进入Setting页面。找到Plugins-选择In...原创 2019-07-15 00:14:00 · 1143 阅读 · 2 评论 -
HDFS相关源码剖析
DFSClient | Namenode | Datanode 源码分析顺序图:DFSClient |-------ClientProtocol |-------DFSInputStream |-------LocatedBlocks |-------BlockReader|-------DFSInputStream ...原创 2019-07-15 10:34:48 · 240 阅读 · 0 评论 -
hdfs的FSImage和Edits文件
知识点1.当执行格式化指令时,会在指定的tmp目录下,生成dfs/name目录。此目录是namenode服务器存储元数据的目录2.当格式化后,启动HFDS前,会生成一个最初的fsimage_0000000000000000000文件3.在 dfs/data目录,这是datanode节点存储数据块的目录。4.元数据的存储目录和数据节点的目录的路径可以分开指定5.在dfs/na...原创 2019-07-15 10:37:11 · 873 阅读 · 0 评论