- 博客(29)
- 收藏
- 关注
RSS订阅原创 HBase报错 not deployed on any region server
删除处于RIT状态下region目录下的recovered.edits文件夹，再重新修复丢失的数据。其中recovered.edits是用于split region后数据恢复存放的split的log信息。手动修复，异常表个数少，就一个个修复（反之，则尝试不带表名称）。切记停止job，防止错误写入，然后重启HBase，观察是否有异常。1.应用Web报错无法连接HBase。4.二次出现RIT异常。
2024-05-20 13:41:51
195
原创 DWS（GaussDB） 通信原理&问题排查笔记
pgxc dn之间不会存在数据流转交互的dws dn之间数据会流转交互，并通过libcomm逻辑连接复用，解决了物理连接数过多和建联耗时的问题。
2023-07-06 14:03:11
182
原创 KeeperErrorCode = NoAuth for /flink_base/flinkserver-193793206
flink提交任务报错：org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /flink_base/flinkserver-193793206/flink_base目录 对应提交用户没有权限登录zookeeper cli通过命令检查目录权限：只有一个用户通过以下命令设置目录权限：查询：再次提交任务解决
2023-06-08 14:59:45
754
原创 PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder
访问HTTPS协议的 api报错和。
2023-03-23 08:56:26
603
原创 CLion中debug查看C++指针执行数组的值
在debug窗口中 GDB交互命令选项中进行gdb调试，使用p命令（即print）查看变量或者数组。例如：int * a = new int[10]在gdb窗口中输入：p *a@1010代表数组长度如图所示：在debug窗口中 GDB交互命令选项中进行gdb调试，使用p命令（即print）查看变量或者数组。例如：int * a = new int[10]在gdb窗口中输入：p *a@1010代表数组长度如图所示：在debug窗口中 GDB交互命令选项中进行gdb调试，使用p命令（即print）查看变量或
2022-12-06 13:42:59
1324
原创 Keras之model.fit_generator()的使用
model.fit_generator()是利用生成器，分批次向模型送入数据的方式，可以有效节省单次内存的消耗。
2022-11-11 16:22:15
1735
1
原创 python调用C++方法
python 通过ctypes包调用c++或者c 的方法提示：以下是本篇文章正文内容，下面案例可供参考主要对python调用c++的方式介绍，并传递指针变量 ， 常规变量 和 对象作为返回值的demo。
2022-11-01 16:38:55
4157
原创 Doris编译问题之flink-connector编译
查看源码的pom.xml文件发现 ，flink相关依赖中没有scala相关版本。如果需要使用Flink 1.14版本，要使用1.1.0版本的分支进行编译。最新master分支代码，适配的是flink 1.15 版本。报错flink 相关jar无法下载。下载1.1.0分支，重新编译成功。
2022-09-26 16:32:07
673
原创 第一章 HDP 3.1.5 自定义服务之集成Kylin 4.0.1 Spark 3.1.1
Ambari2.7.5 + HDP 3.1.5 自定义集成 Kylin 4.0.1安装后点击链接可以正常跳转至kylin页面：介绍了Kylin服务的集成安装，其中Kylin中使用的stacks文件。
2022-08-17 11:09:02
952
3
原创 Flink Sql jdbc connector 时区问题
项目场景：Flink Sql jdbc connector 时区问题问题描述Flink sql jdbc读取的数据时间类型 比mysql快了 13个小时原因分析：时区问题导致解决方案：建表时url中添加serverTimezone=Asia/ShanghaiWITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://xxxx:3306/xxxx?serverTimezone=Asia/Shanghai', 'table-nam
2022-04-18 13:23:13
2312
原创 Hudi 0.10.1 编译使用
第一章 Hudi 框架之 0.10.1 编译第一章 Hudi框架之 0.10.1 编译文章目录第一章 Hudi 框架之 0.10.1 编译前言一、Hudi源码下载1.官网下载2.github获取源码二、编译步骤1.下载Kafka相关依赖2.根目录打包3.修改Pom.xml文件3.1在 include位置 添加3.2 在profile位置修改flink-bundle-shade-hive3添加hive-standalone-metastore 依赖4.打包 bundle jar总结前言使用hudi
2022-04-16 15:31:58
3536
3
原创 Hive 3.1.2 集成phoenix 5.0.0 HBase 2.0.5
Hive 3.1.2 集成phoenix 5.0.0 HBase 2.0.5组件版本： hive 3.1.2、 hbase 2.0.5 、hadoop 3.1.3、 phoenix-5.0.0-HBase-2.0-bin参考官网文档：https://phoenix.apache.org/hive_storage_handler.html#Performance%20Tuning主要问题：1、hbase集成phoenix之后，发现hbase日志存在warn 报错，且定时出现2022-04-08 0
2022-04-11 10:59:29
845
2
转载 Flink:使用 Canal 同步 MySQL 数据至 TiDB
Flink: 使用 Canal 同步 MySQL 数据至 TiDBhttps://flink-learning.org.cn/article/detail/eb20e88dea4387c9a597aeadbfc8aa89
2021-07-14 09:23:09
190
原创 Elasticsearch:在华为大数据集群 从c80升级至651版本后，执行es命令修改配置失败
项目场景：在华为大数据集群 从c80升级至651版本后，执行Elasticsearch命令修改配置失败es版本由6.1.3升级为6.7.1问题描述：执行配置修改命令：curl -XPUT “http://127.0.0.1:24100/*/_settings?pretty&master_timeout=120s” -H ‘Content-Type: application/json’ -d’{ “index.unassigned.node_left.delayed_timeout”: “
2021-07-13 13:34:16
285
原创 使用Spark-shell --master yarn 命令报错
问题描述：使用Spark-shell --master yarn 命令报错： Dynamic allocation of excutors requires the external shuffle service. You may enable this through spark.shuffle.service.enable原因分析：检查服务端与客户端spark.shuffle.service.enable配置不对导致解决方案：将spark.shuffle.service.enabl
2021-07-13 13:25:33
568
原创 Kafka无法正常消费数据
项目场景：Kafka无法正常消费数据。问题描述：Kafka无法正常消费数据。原因分析：Kafka一次性传入数据过大 大于1M ,导致消费者无法消费解决方案：调整kafka中message.max.bytes 参数服务器可以接收到的最大的消息大小。注意此参数要和consumer的maximum.message.size大小一致，否则会因为生产者生产的消息太大导致消费者无法消费。...
2021-07-13 13:16:32
1670
原创 HDFS HA 场景下NameNode journalnode数据损坏以及故障恢复
项目场景：HDFS HA 场景下NameNode故障恢复问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToT
2021-07-13 11:27:39
1316
原创 ES性能优化之写入优化笔记（一）
文章目录前言一、让分片均匀分布二、修改索引刷新时间及副本数三、修改merge参数以及线程数四、修改事务日志translog参数五、禁用Doc Values六、禁用_source字段总结前言优化的场景除了集群基础的性能优化之外，还要区分具体的场景，往往一些参数调整会有相应的好处和坏处，而且往往写入和查询的优化是对立的，要结合相应的业务场景提示：以下是本篇文章正文内容，下面案例可供参考一、让分片均匀分布针对于5个以上机器节点，为了让各个实例上的分片均匀分布，添加如下参数，设置每个索引在单个实例上
2021-03-31 15:36:38
499
原创 ES性能优化之查询优化笔记（一）
文章目录前言一、让分片均匀分布二、修改索引刷新时间及副本数三、修改merge参数以及线程数四、修改事务日志translog参数五、禁用Doc Values六、禁用_source字段总结前言优化的场景除了集群基础的性能优化之外，还要区分具体的场景，往往一些参数调整会有相应的好处和坏处，而且往往写入和查询的优化是对立的，要结合相应的业务场景提示：以下是本篇文章正文内容，下面案例可供参考一、让分片均匀分布针对于5个以上机器节点，为了让各个实例上的分片均匀分布，添加如下参数，设置每个索引在单个实例上
2021-03-31 14:49:43
2039
原创 ES性能优化之内存优化
文章目录前言一、ES性能优化之内存优化一、调整节点内存大小二、禁用Swapping三、垃圾回收器调整（参考）3.1打开垃圾回收日志3.2使用jstat 检查垃圾回收器工作状态3.3垃圾回收器调优总结前言ES虽然具有较高的性能，同样也比较吃资源，通常调整节点内存大小，基本能解决ES常见的性能问题提示：以下是本篇文章正文内容一、ES性能优化之内存优化一、调整节点内存大小修改ES节点实例GC参数(Xms)和最大(Xmx)内存大小，并且保持值一致，重启Elasticsearch服务。单个EsNod
2021-03-25 00:15:33
2601
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人