调优
文章平均质量分 61
隔壁老登
我太想进步了……
展开
-
hbase建表预分区的2种方法
Hbase自带了两种pre-split的算法,分别是HexStringSplit和UniformSplit。以下案例建表并设置预分区,分别测试以下2种方法。1.HexStringSplit算法。2.UniformSplit算法。示例:rowkey以日期为前缀。都分发到对应的region。原创 2024-05-09 21:12:15 · 587 阅读 · 0 评论 -
junit组件的使用
JUnit 是一个广泛使用的 Java 单元测试框架,它帮助开发者编写可重复运行的测试用例来验证代码的正确性。原创 2024-04-26 21:17:17 · 567 阅读 · 0 评论 -
hbase建表时设置预分区
在Hbase中,预分区是一种优化手段,用于在创建表时提前规划好Region的分布,以提高数据写入的效率和查询性能,同时避免数据分布不均导致的热点问题。1.减少split操作:随着数据的增长,单个Region超过一定大小会触发split操作,会消耗资源并影响性能。3.提升写入性能:预分区能够使得数据初始写入时直接分散到多个Region,提高并行写入的能力。2.平衡数据分布:通过预知数据的分布特性,更均匀地分配Region,避免数据倾斜和热点问题。查看Hbase的web界面,可以看到生成了4个Region。原创 2024-04-22 21:32:11 · 683 阅读 · 1 评论 -
高斯锁表导致sql报错处理
nodename,表示锁产生在的位置,即CN或DN位置,例如cn_5001。同时查看“node_name”显示在对应的CN或DN上存在锁等待,记录相应的CN或DN名称,例如cn_5001或dn_600x_600y。3.执行以下语句,到等锁的对应CN或DN上通过查询pg_locks系统表查看VACUUM FULL操作在等待哪个锁。以下以cn_5001为例,如果在DN上等锁,则改为相应的DN名称。如果终止,则执行以下语句。2.根据获取的query_id,执行以下语句查看是否存在锁等待,并获取对应的tid。原创 2024-04-22 21:27:45 · 624 阅读 · 1 评论 -
git本地仓库推送到github远程报错 Push failed Invocation failed Server returned invalid Response
把生成的token复制到Idea里面,点登录,重新push代码到github应该就可以推送成功了。这里我试着用github账号登录,还是报错,于是用token登录github。选择完权限后,点击“Generate token(生成令牌)”。复制生成的Token,并保存在安全的地方,因为它不会再次显示。点击“Generate new token(生成新令牌)”。点击右上角的个人头像,选择“Settings(设置)”。输入Token的描述,并选择所需的权限。登录您的GitHub账户。原创 2024-04-21 20:29:42 · 421 阅读 · 0 评论 -
Java IO流相关概念
Java IO流是Java编程语言中处理输入和输出操作的一个核心组件,它使得程序能够与外部环境交换数据,比如读写文件、网络通信等。掌握Java IO流,对于进行文件操作、网络通信等基础而重要的编程任务至关重要。原创 2024-04-20 15:53:05 · 379 阅读 · 0 评论 -
在IntelliJIDEA中如何将依赖包打入项目中?
构建项目时,默认情况下 Maven 不会将依赖包直接打进 JAR/WAR 文件中,而是将其放在。文件中正确声明所需的依赖。IDEA 会自动从 Maven 仓库下载这些依赖。目录下供运行时使用。原创 2024-04-13 21:39:52 · 414 阅读 · 0 评论 -
关系型数据库设计的核心原则和规范
通过遵循这些规范,可以构建出逻辑清晰、易于维护、高效运行的关系型数据库系统。同时,在实践中往往需要根据实际情况灵活运用规范,权衡冗余度、查询性能和开发维护成本等因素。关系型数据库设计规范旨在减少数据冗余、提高数据一致性,并优化数据访问性能。实体-关系模型 (ER Model)原创 2024-04-12 22:35:30 · 188 阅读 · 0 评论 -
如何在windows环境和linux环境运行jar包
或 java [-options] -jar jarfile [args…用法: java [-options] class [args…功能:实现对字符串小写转大写。原创 2024-04-10 22:17:41 · 329 阅读 · 0 评论 -
kafka客户端常用命令
示例:kafka-topics.sh --delete --topic TPCLOUD004 --zookeeper whtpiodscshd01t:24002/kafka示例:kafka-console-producer.sh --broker-list 10.22.33.10:21007,10.22.33.11:21007,10.22.33.12:21007 --topic test示例:–from-beginning示例:原创 2024-04-09 21:18:55 · 997 阅读 · 0 评论 -
hbase热点问题排查及处理
先把region先移动到其他实例,观察10.22.33.41 cup是否降下来, 并观察10.22.9.4,10.22.9.6节点cpu是否明显上升, 确认该表HBASE_TPI导致cup过高。Hbase shell执行切分region命令,会把原先1个region切分为2个region,切分完成后再执行合并的动作, 可以暂时缓解region热点问题。4.重启regionserver(看某个regionserver是否读写明显超其他regionserve,如有该情况可重启单个regionserver节点)原创 2024-04-03 22:09:56 · 666 阅读 · 0 评论