天一涯-CSDN博客

转载 hbase目录结构及元数据修复

最近知识星球有人问浪尖，自己的hbase集群元数据丢失了，但是数据还在，是否能够修复，其实这种情况下利用数据的hfile去修复元数据很常见，也有很多时候我们是生成hfile加载进hbase。那么他又问了，假设数据也丢失了，或者数据存在大量坏块，是否能进行修复。首先要先修复坏块，一本有副本，假设不是所有数据副本一起损坏，通过清除坏块，修复副本，然后再逆向修复hbase的元数据也是可行的。但是如果清除坏块之后数据丢了，那也可以修复hbase元数据，只是丢了数据而已。HBase中的元数据表中记录了Regi

2021-04-16 10:47:19 1313

原创 CDH问题处理

现象：CDH所有服务报异常，HDFS提示存储空间为0；在CDH管理界面中能够看到集群中所有的主机，但是主机的信息看不到。处理过程：1）试图重启agent，但是所有的DataNode都提示agent正在运行2）jps查看进程发现根本没有java进程在运行3）运行cloudera-scm-agent status显示进程已死，但PID文件仍存4）通过在cloudera-scm-agent脚本中输出PID文件名字，定位到PID文件5）可以发现PID文件是个空文件，将PID文件删除6）启

2020-08-15 23:09:17 2036

原创 JDB线上调试

注意命令中有参数suspend=n，指定JAVA以调试模式运行，监听本地8000端口，并且等待连接时不挂起，正常运行。之后就可以用threads、thread、where、list等命令开始调试了。

2024-02-18 08:56:36 313 1

转载 61850专用语

ST (Status) 状态信息MX (MesuredExtensed) 测量值CO (Control) 控制SP (StaticParam) 参数SV (SubstitueValue) 取代CF (Config) 配置DC (Describe) 描述SG (StaticGrop) 定值组SE (StaticEdit) 可编辑定值组EX (Extra) 扩充定义BR (BufferReport)缓存报告RP (Report)非缓存报告LG (Log)日志。

2023-11-28 15:42:09 197

原创 Window命令激活（不需要安装软件，激活180天）

1.以管理员方式运行命令（注解：该命令为设置KMS服务器地址）：slmgr /skms kms.micaesoft.com。2.激活（注解：该命令为向KMS服务器发起请求）：slmgr /ato。激活完毕后，若要查看许可证详细信息，可使用命令：slmgr /dlv。

2023-05-12 21:20:11 1505 1

原创【Linux】symbol lookup error: undefined symbol + nm指令定位错误

3）符号名称，符号名称前后分别会加上一段拓展名，代表不同的符号类型，例如后面的扩展名D1EV是指的C++析构函数。一般可以先使用 ldd指令去查看一下可执行文件的链接库，但是我的可执行文件是在加载调用.so文件的过程中出现报错，ldd指令并没有解决我的问题，因此要用的nm指令来定位错误源。V：弱对象(weak object)符号. 当一个已定义的弱符号被连接到一个普通定义符号，普通定义符号可以正常使用，当一个未定义的弱对象被连接到一个未定义的符号，弱符号的值为0。D：已初始化数据段的符号。

2023-05-10 15:22:29 5738

原创【Redis】关于哨兵模式

故障转移是由 sentinel 领导者节点来完成的(只需要一个sentinel节点),关于 sentinel 领导者节点的选取也是每个 sentinel 向其他 sentinel 节点发送我要成为领导者的命令,超过半数sentinel 节点同意,并且也大于quorum ,那么他将成为领导者,如果有多个sentinel都成为了领导者,则会过段时间在进行选举.二.客户端向可用的 Sentinel 节点发送 get-master-addr-by-name 命令,获取Redis Master 节点.

2023-04-28 16:10:46 660

原创 POCO中的锁

成功则返回true。试图对mutex加锁，如果失败则阻塞msec后返回, 成功true,失败false。Mutex 可以重复加的锁，继承了MutexImpl—创建的是默认的可以递归的互斥量(需要注意的是同一线成可以多次锁，但是要多次解锁，不同线程不行)。ScopedLock 加锁后ScopedLock变量销毁时自动解锁,实际上是一个模板,可使用FastMutex，Mutex进行实例化,不能单独使用。FastMutex 与mutex有点类似，不同的是，在同一线程内试图加第二次锁时会阻塞。

2023-03-22 16:18:34 211

原创 FineReport的公式编辑框的语法简介

比如有个模板数据集ds1，其字段为地区、销售员、销量，则可以用ds1.group(地区)获取ds1的地区字段，group是分组，从而容易知道select是列表，ds1.select(销售员)便是列表形式获取销售员字段，可以加上限制条件，比如ds1.select(销售员,销量=111)就是获取销售量为111的销售员集合。条件属性面板，上面是属性，下面是条件。1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3))。

2023-03-11 23:45:36 499

原创 Finereport使用记录

选择文件--选项--高级--log级别设置：debug 即可原因：word报告中引用的表格有错误或数据集有错误。引用其他 sheet 页中的数据时，公式采用 'sheet 名称'!单元格的格式。例如：'sheet1'!A1，表示引用 sheet1 标签页中 A1 单元格的数据。若要引用一片连续的单元格，公式写法为 'sheet1'!A1:A3。

2023-03-05 01:52:39 614

原创 KingbaseV8R6使用记录

KStudio:

2022-12-27 13:45:40 121

原创 XMLHttpRequest 实现ajax发送请求

说明：当前请求的五种状态值，一般在事件函数 onreadystatechange 中作为条件判断，以下是五种状态值及对应说明。说明: 监听属性 xhr.readyState ，在该值发生改变后触发并执行事件函数；说明: 监听请求延迟未完成事件，触发后执行事件函数。注意: 当前请求为同步请求时，使用该属性会抛异常。说明: 监听数据传输进行中事件，触发后执行事件函数。说明: 监听请求终止事件，触发后执行事件函数。说明: 监听请求失败事件，触发后执行事件函数。说明: 监听请求成功事件，触发后执行事件函数。

2022-12-12 23:22:06 395

原创 Java实现面向切面编程（AOP）

1、添加依赖2、创建一个计算器接口Cal，定义四个方法 3、创建接口的实现类CalImpl高耦合的写法，每次打印日志都要手动完成：4、使用动态代理进行优化上方代码中，日志信息和业务逻辑的耦合性很高，不利于代码的维护。使用AOP可以进行优化，我们可以使用动态代理实现AOP：给业务代码找一个代理，打印日志信息的工作交给代理来做。这样的话业务代码就只需要关注自身业务即可。（1）去掉手动输出的日志信息（2）.代理辅助类的编写和使用（动态代理的核心）我们创建的并不是所谓的代理类，而是一个可以帮助我们返回代理

2022-11-12 19:01:43 5044 1

原创 VS2019调试Qt5时QString显示为内存地址而非字符串

拷贝文件到以下目录：

2022-10-05 15:50:40 314

原创 JavaApplication创建和使用JNDI

代码】JavaApplication创建和使用JNDI。

2022-07-23 22:14:46 620

转载 Pro文件变量详细说明

工程文件pro主要分为三种app（单独的应用程序），lib（静态和动态库），subdirs（递归编译）。release编译不具有调试信息可执行文件或者库（如果同时指定debugrelease时，只有debug有效）如TEMPLATE=app(默认不指定的情况下是app工程)qmake工具可以使用与平台无关的.pro文件生成与平台相关的。pro文件里，访问Qt配置参数的用法$$[varName]pro文件里，访问环境变量的用法是$(varName)在不同的编译平台上编译时，需要设定条件。...

2022-07-21 10:20:24 849

原创 SceneBuilder自定义组件

一、创建好自定义组件二、创建打包文件和打包三、scenebuilder导入文件1、JAR/FXML Manager2、Add Library/FXML from file system2、Add Library/FXML from file system4、选择需要的组件导入五、完成

2022-07-13 08:41:33 585

原创 Linux socket编程

服务器端工作流程：客户端工作流程：

2022-07-08 16:33:53 111

原创 linux调试技巧

理论上linux 上最大线程数是 = 总虚拟内存（用户空间） / 线程栈大小；一般32bit PC机系统上，进程空间是4G，其中0——3G 是用户空间，3G ——4G 是内核空间，所以理论上最大线程数 = 3*1024/ 8M = 384个，考虑系统主线程占用情况，故可创建的最大线程大概为 < 384个；cat /proc/{pid}/status或者cat /proc/{pid}/status使用pstree命令// 打印所有进程及其线程pstree -p // 打印某个进程的线程数pstree

2022-07-04 20:02:15 806

转载达梦SQL优化及执行计划解读

<div id="article_content" class="article_content clearfix"> <link rel="stylesheet" href="https://csdnimg.cn/release/blogv2/dist/mdeditor/css/editerView/ck_htmledit_views-163de54645.css"> <div id="content_views" class=...

2022-05-31 15:53:46 450

转载 SOCK_STREAM与SOCK_DGRAM套接字

流格式套接字（SOCK_STREAM）流格式套接字（Stream Sockets）也叫“面向连接的套接字”，在代码中使用 SOCK_STREAM 表示。SOCK_STREAM 是一种可靠的、双向的通信数据流，数据可以准确无误地到达另一台计算机，如果损坏或丢失，可以重新发送。流格式套接字有自己的纠错机制，在此我们就不讨论了。SOCK_STREAM 有以下几个特征：1.数据在传输过程中不会消失；2.数据是按照顺序传输的；3.数据的发送和接收不是同步的（有的教程也称“不存在数据边界”）。

2022-03-30 11:16:48 1136

原创 oracle分析函数sum() over()

分析函数和聚合函数的区别普通的聚合函数用group by分组，每个分组返回一个统计值，分析函数采用partition by分组，并且每组每行都可以返回一个统计值。语法FUNCTION_NAME(<参数>,…) OVER (<PARTITION BY 表达式,…> <ORDER BY 表达式 <ASC DESC> <NULLS FIRST NULLS LAST>> <WINDOWING子句>)分

2022-01-28 10:08:00 1296

原创 java的class文件批量反编译成java

前提：下载jad例如：将需要反编译的多个文件放在指定路径下。命令：jad -o -r -s java -d src classes_dex2jar/**/*.classjad命令的参数含义如下： -o：覆盖旧文件，而且不用提示确认。 -r：重新加载生成包结构。 -s (java)：定义输出文件的扩展名。jad为默认扩展名，我们反编译后当然是要.java源文件了。 -d：输出文件的目录。src表示反编译后的所有文件都放在src目录下。 ...

2021-12-25 23:08:53 479

原创 Linux定时收集CPU使用率并将打印到文件

#!/bin/bashwhile [ true ]; do/bin/sleep 3ps auxw|awk '{if (NR>1){print $3}}' > /opt/cpu_listawk '{CPU_PER+=$1}END{print CPU_PER}' /opt/cpu_list | awk '{ print $0"\t" strftime("%H:%M:%S",systime()) } ' >> cpu.txtdone

2021-11-22 18:45:25 2667

原创 VS调试时显示qstring

VS调试Qt程序，会发现无法查看QString等Qt内置类型的值，可以修改autoexp.dat文件，使Qt内置类型的值也可以查看。C:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\Packages\Debugger\autoexp.dat，在VS2005，qt3下亲测可以。搜索 [AutoExpand]，添加;QT_DEBUG_START (Qt5 Visual Studio Add-in v2.4.3)QString=

2021-09-27 22:50:09 1385

原创 swing中JTable的渲染器和编辑器

JTable的内容、外观、事件响应在很大程度上是由渲染器与编辑器控制的。具体说来，渲染器负责单元格的外观比如前景色、背景色，以及单元格提示；编辑器负责单元格的内容和事件响应。编辑器默认为文本框形式，也可以使用下拉菜单、按钮、单选按钮等形式。定制的渲染器必须实现TableCellRenderer接口并实现getTableCellRendererComponent方法。在该方法中，可以指定渲染器的文字、单元格提示、颜色、字体等。注意，此处的文字仅为显示的内容，不是单元格的实际数据。比如：//v

2021-08-12 22:22:52 546

转载 Eclipse windowbuilder自定义控件加到控件面板

eclipse的Gui插件windowbuilder工具支持自定义控件加到控件面板，并且支持基本类型的自定义属性出现在属性面板里（切记只支持属性的数据类型是基本类型，不支持其他一切类类型）。这些属性设置后可以实时反应到设计视图上非常有用（例如：JPanel不支持设置背景图片，我们可以自定义一个继承的子类在paintComponent（与paint区别，调用paint，paint会调用依次paintComponent、paintBorder 和 paintChildren，在paint画图自己写的代码在pai

2021-07-22 10:02:56 796

原创 2021-06-21 windows下脚本方式实现进程狗

@echo off:RESTARTrem 进程名字set procName=xxxrem 进程的启动参数set param=-dtasklist /FI "imagename eq %procName%.exe" |find /C "%procName%.exe" >temp.txtset /p num= < temp.txtdel /F temp.txtif "%num%"=="0" ( echo %date% %time% "%procName%已死掉，正在重新启动...

2021-06-21 18:29:15 173

原创 Linux下查找结构体定义的位置

1.首先我们要进入目录：比如：cd /usr/include2.查找在当前目录下的结构体：指令：grep “struct sockaddr_in {” * -nir形式：grep+空格+“结构体+空格+{”+空格+*+空格±nir注意：空格绝不能少，否则绝对找不到或者卡死在那里// n表示行号，i表示不区分大小写，r是本目录这时候就能够找到结构体定义的位置了。3.打开文件就能够看到结构体的定义了：...

2021-06-08 09:39:53 1406 1

原创 JDB附加调试线上JAVA程序

前面介绍过用Eclipse远程调试JAVA程序，见Eclipse远程调试JAVA程序，但现场环境中通常没有安装Eclipse，这时候就可以用jdb来附加进程调试了。　1）首先要保证使用以下命令启动JAVA程序：java -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8000 -jar test.jar 注意命令中有参数suspend=n，指定JAVA以调试模式运行，监听本地8000端口，并且等待连接时不挂..

2021-05-13 14:05:09 366

原创 phoenix中删除表映射（保留hbase中的数据）

1删除Phoenix上的映射表,demo是我的表名DELETE from SYSTEM.CATALOG where TABLE_NAME ='demo';2删除hbase中phoenix的表描述打开hbase shell，依次执行以下命令：disable 'demo'alter 'demo',METHOD=>'table_att_unset',NAME=>'coprocessor$1'alter 'demo',METHOD=>'table_att_unset',NA

2021-04-20 18:52:12 1076

转载 phoenix upsert 插入大量数据时的异常

使用phoenix upsert 插入大量数据时出现异常：java.sql.SQLException: ERROR 730 (LIM02): MutationState size is bigger than maximum allowed number of bytes具体报错：解决方法：主要修改三个参数配置：phoenix.mutate.batchSize：执行过程中被批处理并自动提交的行数，调大此参数phoenix.mutate.maxSize ：客户端批处理的最.

2021-04-19 20:10:19 1495

转载 Phoenix各个属性的含义

Phoenix各个参数的含义及设置：属性名称属性描述默认值 phoenix.query.timeoutMs 查询超时时间，默认为10分钟，单位：毫秒 600000 phoenix.query.keepAliveMs 当客户端的线程超过线程池的核心线程数量时，空闲线程等等待任务的默认时间。超过这个时间，空闲线程就会关闭，默认是60s 60000 phoenix.query.threadPoolSize 客户端线程池的线程数量，当集群扩大时，这个数.

2021-04-19 20:05:56 820

原创 phoenix使用总结

phoenix映射HBase默认情况下，直接在hbase中创建的表，通过phoenix是查看不到的。如果要在phoenix中操作由hbase创建的表，则需要在phoenix中进行表的映射。映射方式有两种：视图映射和表映射。Phoenix创建的视图映射是【只读】的，所以只能用来做查询，无法通过视图对源数据进行修改等操作。视图映射通过create view创建，例如：create view “test”(empid varchar primary key,“name”.“firstname”

2021-04-14 20:07:55 1302

转载 Ora-12514原因及处理方法

1）、ORA-12541:TNS:没有监听器服务器端的监听器没有启动，另外检查客户端IP地址或端口填写是否正确。启动监听器：$lsnrctlstart2）、ORA-12154:TNS:无法处理服务名检查输入的服务名与配置的服务名是否一致。另外注意生成的本地服务名文件(Windows下如D:oracleora92networkadmintnsnames.ora，Linux/Unix下/network/admin/tnsnames.ora)里每项服务的首行服务名称...

2021-03-29 20:45:57 79826 1

原创 java单播、组播、广播示例

UDP单播：import java.io.IOException;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;import java.net.InetSocketAddress;import java.net.SocketAddress; // 客户端public class ClientTest{ private static final

2021-03-18 21:08:40 314 1

转载 RMI学习总结

1.RMI介绍远程方法调用（RMI）顾名思义是一台机器上的程序调用另一台机器上的方法。RMI的目的就是要使运行在不同的计算机中的对象之间的调用表现得像本地调用一样。RMI是Java支撑分布式系统的基石，例如著名的EJB组件。RMI是远程过程调用（RPC）的一种面向对象实现，RMI底层是通过socket通信和对象序列化技术来实现的。2.RMI原理RMI 应用程序通常包括两个独立的程序:服务器程序和客户机程序。RMI 需要将行为的定义与行为的实现分别定义, 并允许将行为定义代码与行为实现代码存放并运

2021-03-18 18:06:52 239

原创 hbase shell常用命令

help 查看命令的使用描述 help ‘命令名’whoami 我是谁 whoamiversion 返回hbase版本信息 versionstatus 返回hbase集群的状态信息 statustable_help 查看如何操作表 ...

2021-02-28 10:38:59 186

转载 hbase问题排查思路

HBCK - HBCK检查什么？(1)HBase Region一致性集群中所有region都被assign，而且deploy到唯一一台RegionServer上该region的状态在内存中、hbase:meta表中以及zookeeper这三个地方需要保持一致 (2)HBase 表完整性对于集群中任意一张表，每个rowkey都仅能存在于一个region区间 HBCK – 常用检查命令 hbase hbck hbase hbck –details .

2021-01-28 18:38:33 1230

原创 HBase修复命令

新版本的 hbck 可以修复各种错误，修复选项是：（1）-fix，向下兼容用，被-fixAssignments替代（2）-fixAssignments，用于修复region assignments错误（3）-fixMeta，用于修复meta表的问题，前提是HDFS上面的region info信息有并且正确。（4）-fixHdfsHoles，修复region holes（空洞，某个区间没有region）问题（5）-fixHdfsOrphans，修复O...

2021-01-28 09:03:22 1316