hjhjinghui的博客

原创 sqoop的原理

sqoop的原理

原创 Spark报错：Compression codec com.hadoop.compression.lzo.LzoCodec not found

Spark报错：Compression codec com.hadoop.compression.lzo.LzoCodec not found

原创 Flink实时数仓项目思维导图

原创 HDFS 原理分析

目录HDFS的设计特点 什么是零拷贝 什么是DMA？HDFS的关键元素HDFS运行原理HDFS数据合并原理 HDFS写原理HDFS读原理分块存储安全模式MapReduce 核心思想MapReduce 进程 零拷贝技术：DMA将一个内存区从一个设备复制到另外一个。当中央处理器初始化这个传输动作，传输动作本身是由DMA控制器来实行和完成。Block：将一个文件进行分块，通常是64M。NameNode：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存，如果主 NameNode 失效，启

原创 Phoenix 启动报错：ERROR 726 (43M10): Inconsistent namespace mapping properties

Phoenix 启动报错：ERROR 726 (43M10): Inconsistent namespace mapping properties

转载 Flink CEP SQL四种匹配模式效果演示

链接：（5）Flink CEP SQL四种匹配模式效果演示_NBI大数据的技术博客_51CTO博客

原创 反编译Jar包

首先，找到IDEA安装路径后，我们就可以找到插件的安装路径在 plugins 文件夹下面，找到 java-decompiler。进入 lib 文件夹，看到插件即可。

原创 Hlog简介

此外为了保证恢复的效率，Hbase会限制最大保存的Hlog数量，如果达到Hlog的最大个数（hase.regionserver.max.logs参数控制）的时候，就会触发强制刷盘操作。在Hlog被移动到.oldlogs目录后，Hbase每隔hbase.master.cleaner.interval（默认60秒）时间会去检查.oldlogs目录下的所有Hlog，确认对应的Zookeeper的Hlog节点是否被删除，如果Zookeeper 上不存在对应的Hlog节点，那么就直接删除对应的Hlog。

原创 Hbase介绍

BigTable本质上是一个Map结构数据库，HBase亦然，也是由一系列KV构成的。然而HBase这个Map系统却有很多限定词——稀疏的、分布式的、持久性的、多维的以及排序的。大家都知道Map由key和value组成，那组成HBase Map的key和value分别是什么？和普通Map的KV不同，HBase中Map的key是一个复合键，由rowkey、column family、qualif ier、type以及timestamp组成，value即为cell的值。

转载 运行Maven打包后的JAR包显示错误“没有主清单属

通过maven打包程序后，直接执⾏jar包时，控制台显⽰“没有主清单属性”