sdfasfasdfdfdfd的博客

B有少的这部分数据，但是不在限制范围内，如对账范围为（date = '2024-11-09'）,但是B系统少的这部分数据在date = '2024-10-25'日期下，所以B系统不需要插入少的这部分数据，而是需要将B系统少的这部分数据从date = '2024-10-25'修改为date = '2024-11-09'就行了。A多B少场景，正常来说B需要插入少的部分，但是由于限制了对账范围，那么存在可能B有这部分数据，只不过不在限制范围内，所以还需要细分两种情况。B确实少这部分数据，插入少的部分数据即可。

不知道有没有人注意到一个容易忽略的问题：loadClass(String name)是public修饰的，而findClass(String className)则是protected修饰，而在我们的应用中，大部分情况下调用这个自定义加载器的地方跟它并不在一个包内，但是如果在同一个包内的话，就可以调用findClass(name)方法来加载我们指定的类，但是这样做并没有实际的实用意义，所以才说要打破双亲委派，就必须重写loadClass(String name)。

MySQL的TIMESTAMP类型在建立索引时可能会遇到一些性能上的问题，尤其是在大量数据的情况下。这是因为TIMESTAMP类型在MySQL内部是以4个字节的整数形式存储的，并且与时区有关。当你对TIMESTAMP列进行索引时，索引会变得较大，并且可能会消耗更多的内存。

表明shell尝试执行一个以回车符（Carriage Return, CR）结尾的命令，但是CR后面没有跟随换行符（Line Feed, LF），导致shell无法识别命令的结束，并报错。这个错误通常发生在Windows系统中使用了Unix/Linux的换行符（LF），而在Unix/Linux系统中使用了Windows的行尾符（CRLF）时。

通过阅读官方文档增加以下配置tispark方式直连tidb 的pdserver，速度还是很快的。

notepad作为文本处理的工具，很强大，提高处理文本效率。notepad处理文本常用的有两个，一个正则匹配，一个列编辑操作。还支持安装一些插件，如compare比较文本差异，

因为我们的业务场景是需要不断接入kafka消费的，为了避免不改动代码，做到灵活配置的目的，将topic存储到数据库中，启动过程中加载这些topic，所以启动过程中需要采用字节码生成class，然后class在实例化一个对象，返回给spring，交给spring管理。

select字段格式转换优化，大dataset拆分优化，开窗函数

在应用中使用druid连接池管理数据库连接，但是某一天线上定时任务不跑了，到公司后，立刻排查定时任务日志发现所有线程都在运行中，新的线程也启动不了导致后续任务都执行不了，为了分析线程都在干嘛，我们执行jstack命令将jvm中所有线程都输出到文本中。通过分析文本发现线程都在等待数据库连接数据库连接为什么获取不到呢，应该有很多才对，而且应用查询的都是mysql小表，用完很快就能释放，其他线程就能立刻使用，一直找不到原因。

hive表是不支持并发插入的，因为涉及到文件操作，并发写可能导致写过程中争夺一个文件失败，故想要实现并发写需要其他的方式来实现方案一：采用hive事务，虽然控制了并发数，采用一个一个任务写，但是性能不高方案二：采用分区，分区可以隔离文件操作，避免争夺文件导致失败，但是需要控制分区数量，分区太多会导致性能下降方案三：替换其他数据库，如hbase方案四：批量写入，将所有要写入的量汇总成一个批次写入，也就没有并发可言了。

一文告诉你监控系统组成内容

hadoop keytab文件登录失败，不只hadoop，还有其他的用到java security 组件的都有同样问题，

面向程序员的数据库访问性能优化法则 特别说明：1、  本文只是面对数据库应用开发的程序员，不适合专业DBA，DBA在数据库性能优化方面需要了解更多的知识；2、  本文许多示例及概念是基于Oracle数据库描述，对于其它关系型数据库也可以参考，但许多观点不适合于KV数据库或内存数据库或者是基于SSD技术的数据库；3、  本文未深入数据库优化中最核心的执行计划分析技术。 读者对像：开发人员：如果你是做...

1.背景RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。2.应用场景2.1异步处理场景说明：用户注册后，需要发注册邮件和注册短信,传统的做法有两种1.串行的方式;2.并行的方式 (1)串行方式:将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个...

一、概述数据库锁定机制简单来说，就是数据库为了保证数据的一致性，而使各种共享资源在被并发访问变得有序所设计的一种规则。对于任何一种数据库来说都需要有相应的锁定机制，所以MySQL自然也不能例外。MySQL数据库由于其自身架构的特点，存在多种数据存储引擎，每种存储引擎所针对的应用场景特点都不太一样，为了满足各自特定应用场景的需求，每种存储引擎的锁定机制都是为各自所面对的特定场景而优化设计，所以各存储...