java
文章平均质量分 72
bay233
这个作者很懒,什么都没留下…
展开
-
ForkJoinPool如何支持递归调用的
ForkJoinPool 支持递归主要是因为 ForkJoinTask 的 get 方法对 ForkJoinWorkThread 进行了一些特殊的处理,使它能在递归调用时直接执行需要执行的任务,而不是将它提交到线程池中由其它线程执行。这样避免了很长的等待链,而这个链可能因为线程不够永远都不会返回,造成了死锁。原创 2024-04-16 18:05:33 · 980 阅读 · 0 评论 -
redis 批量删除 key
redis 批量删除 key原创 2022-12-19 17:01:42 · 1831 阅读 · 1 评论 -
分享一个使用 redisson 实现 redis 消费队列只消费一次的实现方法
因为 redis 的消费队列并没有提供多消费只消费一次的功能,如果想要实现多消费(实例)保证只消费一次,则需要自己在消费端去实现。简单封装一下 Redisson 中的 RTopic 的监听方法:public class RedisMessageUnrepeatable { private static final String INDEX_SUFFIX = "_unrepeatable"; private static final String RW_SUFFIX = "_rwLoc原创 2022-04-02 17:44:26 · 4158 阅读 · 2 评论 -
设计模式总结
此文章中所有定义和图片来自《大话设计模》这本书。侵删。设计模式:3类,23种。特点:封装,继承,多态好处:可维护,可复用,可扩展,灵活性好开发-封闭原则:对扩展开放,对修改关闭依赖倒转原则高层模块不应该依赖底层模块,两个都应该依赖抽象抽象不应该依赖细节,细节应该依赖抽象里氏替换原则子类型必须能够替换掉他们的父类型合成/聚合复用原则尽量使用合成/聚合,尽量不要使用继承迪米特法则如果这两个类不必彼此直接通信,那么这两个类就应当发生直接的相互作用。如果其中的一个类需要调用另.原创 2020-08-27 09:29:06 · 780 阅读 · 0 评论 -
大数据集群之使用 zookeeper 群集实现简单的分布式锁
环境配置三个节点:node1:2181node1:2181node1:2181具体配置请参考大数据集群之Hadoop集群(HA)实现说明运用zk的事件和临时序列化节点实现。当一个线程需要获取锁时,先zk上创建一个临时序列化节点,并监听事件创建节点后,判断自己是否为唯一的节点,如果是则直接获取锁,如果不是,获取所有的兄弟节点并从小到大排序判断自己是不是序列号最小的节点(最早注册),如果是则获取锁。如果均不是则等待。当一个节点拿锁并执行完任务后,会将自己节点从zk上删除,此时其他节点将会收原创 2020-07-02 15:31:37 · 214 阅读 · 0 评论 -
大数据集群之Hadoop Map Reduce 编程
环境配置为:192.168.36.100 node1 NameNode192.168.36.101 node2 NameNode , DataNode192.168.36.102 node3 DataNode192.168.36.103 node4 DataNode详细信息请参考:大数据集群之Hadoop集群(HA)任务说明与准备数据结构山西省,3,朔州市,朔城区,2013,LZW6450PF,上汽通用五菱汽车股份有限公司,五菱,小型普通客车,个人,非营运原创 2020-07-01 16:53:28 · 426 阅读 · 0 评论 -
MongoDB 使用MongoTemplate 更新错误: Collation not supported by wire version: 4
初学mongoDB,使用MongoTemplate 的 updateFirst 踩的一个坑。大致环境:数据库在 Linux虚拟机上 mongoDB 3.2.22部分错误信息java.lang.IllegalArgumentException: Collation not supported by wire version: 4 at com.mongodb.internal.operation.OperationHelper.validateCollationAndWriteConcern原创 2020-06-22 17:04:04 · 1234 阅读 · 0 评论 -
大数据集群之HDFS的简单使用(使用HDFS 简单实现云盘系统)
HDFS作为Hadoop的文件系统,具有以下特点:高容错流式文件访问适合大数据处理适合批处理高容错率可以使它构建在廉洁的机器上当然也有缺点:不擅长低延迟和高吞吐率的数据访问小文件存储并发写入和高频率修改参照:https://blog.csdn.net/woshiwanxin102213/article/details/19990487HDFS常用指令HDFS的指令很多都与Linux有相同之处。官网指令参考地址指出几个不同且常用的:hadoop fs -get #将原创 2020-06-18 16:20:34 · 1643 阅读 · 0 评论 -
Topic test not present in metadata after 60000 ms
今天上课学习Kafka Java API时出现的错误,下面就讲讲我的解决方案步骤。1.很容易看出是程序是因为连接超时报的错,说明不是程序的问题。2.打开zookeeper确定Kafka的节点是否存在。3.查看/home/logs下的日志。4.建议重启一下所有节点的Kafka,在次上zookeeper确定。5.发现有节点异常6.查看配置文件,server.properties ,未发现...原创 2020-03-11 16:40:28 · 22849 阅读 · 1 评论