宋大虾的猫-CSDN博客

原创 MR任务读取HFile

近期需要开发个功能，通过MR批量读取HFile文件，并以Result的格式写入到其他存储系统中。过程中遇到了一些坑，在此记录下。前期调研基于MR的HBase数据读取，常用的是基于HBase官方的TableMapper实现。但是这里需要读取HFile文件，且不想经过HBase（BulkLoad场景下，读取增量数据，但不想全扫描HBase表），那这个方案就不合适啦。...

2022-01-28 09:44:27 2043

问题：最近发现HBase集群出现1W+ 的region处于RIT状态，导致很多hbase集群处于不可用状态。HBase版本：2.0.1问题定位：1、刚开始以为只是单纯超时等导致的RIT，于是通过脚本手动修改meta表状态（ING->CLOSED），再滚动重启hbase regionserver和master服务，最后批量assign，结果发现RIT情况并没有解决。（没有hbck工具，只能手动搞）2、手动assign ‘region’提示超时。大量的assign操作的proced

2021-12-29 15:32:11 3352 1

原创 Linux 端口连通性测试

一般针对Linux端口的连通性测试，都会采用telnet工具，但是telnet工具只能测试tcp端口，对于udp的端口需要使用nc工具进行测试。TCP端口测试安装telnetyum install -y telnettelnet工具测试命令为：telnet <host> <port>测试效果：端口不通：（此时，禁掉tcp 22端口）端口通：（此时，放开22端口）UDP端口测试安装ncyum install -y nc

2021-09-02 10:25:28 493

原创 GeoMesa系列2-安装使用

1、下载安装包，解压（后期可下载源码编译开发）wget https://github.com/locationtech/geomesa/releases/download/geomesa-3.2.0/geomesa-hbase_2.11-3.2.0-bin.tar.gztar -zxvf geomesa-hbase_2.11-3.2.0-bin.tar.gz2、修改配置，启动GeoMesa2.1 停止hbase安装GeoMesa过程中，需要修改HBase部分配置sudo -u hb

2021-07-23 17:29:25 917 1

原创 GeoMesa系列1-初识

简介GeoMesa是一款开源的、基于分布式计算系统的、面向海量时空数据查询与分析的工具包GeoMesa基于GeoTools API进行设计，与GeoServer等进行集成提供OGC标准的服务支持多种可扩展的、基于云端的数据存储架构，包括Apache Accumulo, HBase， Cassandra，Google Bigtable，以及⽤用于流计算的Apache Kafka 提供了Spark，并增加了针对空间数据的UDT、 UDF和UDAF，⽅便用户直接使用Spark S..

2021-06-08 16:42:55 290

原创 java连接hive代码示例（Kerberos）

java连接hive代码示例（Kerberos）非Kerberos环境下，Java连接hive的Demo很多，而且没有什么需要注意的，直接使用即可。但是在Kerberos环境下，有些点需要特别注意下。（非Kerberos环境，把AuthKrb5注掉即可）1、代码示例import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.security.UserGroupInformation;import java.io.IOE

2021-01-20 17:07:01 2665 1

原创 Git常用命令

git如何新建分支1 查看当前分支git branch -a2 切换到基础分支，如主干git checkout master3 创建并切换到新分支git checkout -b devgit branch 可以看到已经在dev分支上4 更新分支代码并提交git add *git commit -m "init branch dev"git push origin dev5 在git代码管理界面经可以看到dev分支了，成功新建并下载仓库命令行指引您还可

2021-01-08 10:50:18 154

原创 Java中LOOP怎么用

java中loop只是continue和break的标记。可以在多层嵌套循环中，跳出到指定层。否则只能跳出当前循环。具体用法可见以下代码：public class test { public static void main(String[] args) { int i = 0; int j = 3; LOOP: do { System.out.println("LOOP: " + i); i++; LOOP1: for (int

2020-12-31 14:47:56 10701 2

原创 HBase中的MemStore

HBase中的MemStoreHBase是一个基于HDFS的低成本、分布式LSM结构的数据库。可以支持毫秒级别查询；支持海量的PB级的大数据存储，适用于高QPS的随机读写和前缀范围查询等场景。1、什么是MemStoreHBase中，Region是集群节点上最小的数据服务单元，用户数据表由一个或多个Region组成。在Region中每个ColumnFamily的数据组成一个Store。每个Store由一个Memstore和多个HFile组成，如下图所示：图1 Region结构组成2

2020-12-24 17:08:18 2679 2

原创开源项目拉取与常见问题处理

开源项目拉取与常见问题处理前言大数据发开过程中，不可避免的要和组件的源码打交道（组件的编译打包、组件新特性的合入、Bug的修复、贡献社区等）。下面，我们就以HBase为例，讲一下怎么拉取开源项目，以及一些常见问题的解决方式。1 准备工作拉取开源项目代码时，需要准备以下几点：Github账号注册、Git工具安装。1.1 Github账号注册1.进入github官网：https://github.com/ 如下图所示：填写本人邮箱，点击Sign up for GitHu.

2020-12-09 14:55:17 326

原创 HDFS DataNode服务容器化与cap-add命令

1、最近在做HDFS容器化过程中，发现在安全模式下，datanode服务在容器内起不来。找了一圈，发现容器在启动时，默认给的权限不够，导致datanode服务无法启动。报错如下：ERROR: Cannot set priority of datanode process 191于是，按照网上解决方案一顿操作，没用。最后，在启动容器时，加上--cap-add=all解决问题。2、cap-add命令的用处是啥docker使用--privileged --cap-add --cap-dr

2020-12-03 17:33:59 833 1

原创 HBase MemStore flush执行流程

前言上一篇博客中（https://blog.csdn.net/qq_35542970/article/details/109390109），我们分析了memstore flush的几种触发条件，从中可以看出HBase将需要flush的请求存放于MemStoreFlusher中定义的flushQueue中。那么队列中的flush请求又是如何处理的呢？1、flush队列的处理1.1、flush请求队列的处理流程：以put等操作触发的flush为例，流程如下：（图片来自链接https://blog.cs

2020-11-05 17:14:17 558

原创 HBase MemStore flush触发条件

MemStore flush触发条件flush操作是Memstore最核心的操作，针对Memstore的flush操作进行深入地解析：首先分析HBase在哪些场景下会触发flush，然后结合源代码分析整个flush的操作流程，最后再重点整理总结和flush相关的配置参数，这些参数对于性能调优、运维中的问题定位都非常重要。1、触发条件HBase会在如下几种情况下触发flush操作，需要注意的是MemStore的最小flush单元是HRegion而不是单个MemStore。可想而知，如果一个HR.

2020-10-30 18:02:30 1237

原创 Maven常用命令与国内源

Maven常用命令与国内源常用命令常用maven源常用命令1、编译指定模块module_name，同时构建该模块依赖的其他模块mvn install -pl module_name -am2、编译指定模块module_name，同时构建依赖该模块的其他模块mvn install -pl module_name -am -amd3、编译过程中跳过测试步骤mvn -Dmaven.test.skip=true clean install 不编译测试用例，也不执行测试用例或mvn -DskipT

2020-10-30 17:40:49 467

原创 Apache Druid空间过滤器的使用

从Druid的官方文档来看，Druid是支持空间过滤的，但是在实际使用的时候发现，并不是很好用。先看官网的使用指南。https://druid.apache.org/docs/latest/development/geo.html看使用指南觉着提供一个中心和距离就可以用啦，但在测试的时候，效果总是不对。。看代码发现，Druid的空间过滤功能和想想的并不一样。代码中关于radius部分的过滤的代码如下： public boolean contains(float[] otherCoor

2020-10-09 16:35:05 295

原创 Prometheus和Grafana监控Solr

Prometheus和Grafana监控Solr最近在做Prometheus和Grafana监控大数据组件的调研，百度了下，没找到怎么去监控solr了，刚开始以为没有人搞这个，很郁闷！！后来，翻墙搜了一下，发现solr现在已经集成了这个功能。。特此记录，以示警戒！prometheus-solr-exporter模块contrib模块提供，位于contrib/prometheus-exporter目录中。solr提供监控配置文件（solr-exporter-config.xml，位于con.

2020-08-07 15:05:43 972

转载 CheckStyle简单使用

最近，在学习Apache Druid源码的时候，发现编译过程中提示很多代码编写的格式问题，发现是使用了CheckStyle工具。于是在网上查找相关博客，发现这个博客讲的挺好的，转载以下。原文地址：https://blog.csdn.net/iXinRu/article/details/85242553#comments_12876500CheckStyle作为检验代码规范的插件，除了可以使用配置默认给定的开发规范，如Sun的，Google的开发规范啊，也可以导入像阿里的开发规范的插件。事实上，每一个

2020-07-30 17:34:48 1211 3

原创 HBase数据备份/容灾

HBase的数据备份方式有很多种，Distcp，CopyTable，Export/Import，backup/restore和Replication等。这里主要介绍backup/restore和Replication两种方式。backup/restore功能是对 HBase Replication 功能的补充。HBase replication适合创建数据的“热”副本（复制数据可立即用于查询，实时备份）；backup/restore功能适合创建“冷”数据副本（必须采取手动步骤）恢复系统，定时备份）...

2020-06-10 21:31:31 709

qq_35542970的博客

原创 HBase PE随机读请求不均匀问题