- 博客(25)
- 收藏
- 关注
RSS订阅原创 RabbitMQ基本概念
RabbitMQ是AMQP协议的一个开源实现，所以其基本概念也就是的 AMQP 协议中的基本概念。如图3-1所示是 RabbitMQ 的整体架构图。Message(消息):消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列可选属性组成，这些属性包括routing-key(路由键)、priority(相对于其他消息的优先级)、delivery-mode(指出该消息可能需要持久化存储)等。Publisher(消息生产者):一个向交换器发布消息的客户端应用程序。
2024-06-24 14:54:49
423
原创 Kettle学习笔记
作者：老村长链接：https://zhuanlan.zhihu.com/p/104352390来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。可视化编程：Kettle可以被归类为（Visula Programming Languages）,因为Kettle因为可以使用图形化的方式定义复杂的ETL程序和工作流。Kettle 里的图就是转换和作业一直是Kettle的核心概念，它可以快速构建复杂的ETL作业和减低维护工作量。
2024-06-24 14:40:14
327
原创 Kettle入门学习
Kettle 是一款国外的开源ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。外国人起名字挺有意思的，kettle的核心组件就是一套烹饪厨具。所学的也结合实际工作进行了验证。2.作业项是作业的基本组成部分，每个作业项根据前一个作业项的结果顺序执行。5.kettle使用灵活的虚拟文件系统，可以访问各种不同位置的文件。4.kettle有不同类型的资源库，每种资源库都有自己的使用场景。1.Kettle里的数据以数据行的形式,由转换里的步骤来处理。
2024-06-24 14:38:55
936
原创 MurmurHash3
这里的哈希值指的是二进制的值，而不是 HEX 或 base64 格式化后的人类可读的值。这里的结论：MurMurHash3 128 位版本的速度是 MD5 的十倍。32位的，在某些场景下，比如哈希的对象长度小于 128 位，或者存储空间要求占用小，或者需要把字符串转换成一个整数，这一特性就能帮上忙。广泛应用于各开源产品，Java 界中 Redis，Memcached，Cassandra，Hadoop，HBase，Lucene，spark，nginx，常见的大数据库底层，都使用了这个算法作为底层的存储算法。
2024-03-25 15:39:10
598
原创 Apache Pulsar
KafkaPulsar模型概念消息消费模式主要集中在流(Stream) 模式, 对单个partition是独占消费, 没有共享(Queue)的消费模式主要集中在流(Stream) 模式, 对单个partition是独占消费, 没有共享(Queue)的消费模式消息确认(ack)使用offset使用专门的cursor管理。累积确认和kafka效果一样;提供单条或选择性确认消息保留根据设置的保留期来删除消息, 有可能消息没被消费, 过期后被删除。
2024-03-25 15:37:08
745
原创 Java并发编程基础
现代操作系统在运行一个程序时，会为其创建一个进程。例如，启动一个Java程序，操作系统就会创建一个Java进程。现代操作系统调度的最小单元是线程，也叫轻量级进程（Light Weight Process），在一个进程里可以创建多个线程，这些线程都拥有各自的计数器、堆栈和局部变量等属性，并且能够访问共享的内存变量。处理器在这些线程上高速切换，让使用者感觉到这些线程在同时执行。// 不需要获取同步的monitor和synchronizer信息，仅获取线程和线程堆栈信息。
2024-03-25 15:32:39
800
原创 volatile与伪共享问题
定义：Java编程语言允许线程访问共享变量，为了确保共享变量能被准确和一致地更新，线程应该确保通过排他锁单独获得这个变量。Java语言提供了volatile关键字，在某些情况下比锁要更加方便。如果一个字段被声明成volatile，Java线程内存模型确保所有线程看到这个变量的值是一致的。那么volatile是如何保证可见性的呢？有volatile变量修饰的共享变量进行写操作的时候会多出一行汇编代码Lock#前缀的指令在多核处理器下引发了两件事将当前处理器缓存行的数据写回到系统内存。
2024-03-25 15:24:21
559
原创 【设计模式】代理模式
Provide a surrogate or placeholder for another object to control access to it.（为其他对象提供一种代理以控制对这个对象的访问。通用类图如下：在Spring AOP中使用了代理模式。
2024-03-25 15:23:34
962
原创 六大设计原则
定义：有且仅有一个原因引起类的变更优点：类的复杂性降低可读性高可维护性提高变更引起的风险降低很难做到。接口一定要做到单一职责，类的设计尽量做到只有一个原因引起变化。
2024-03-25 15:22:31
842
原创 如何进行服务限流
可以看到，在 0.1 秒内请求的 30 次请求中，除了初始的 10 个令牌以及随时间恢复的 1 个令牌外，剩下 19 个没有取得令牌的请求均返回了 false，限流脚本正确的将超过限制的请求给判断出来了，业务中此时就可以直接返回系统繁忙或接口请求太过频繁等提示。rateLimit 方法传入的 key 为限流接口的 ID，max 为令牌桶的最大大小，rate 为每秒钟恢复的令牌数量，返回的 boolean 即为此次请求是否通过了限流。最简单的办法当然是每隔一段时间请求一次 Redis，将存储的令牌数量递增。
2024-03-19 11:00:23
974
1
原创 Java21新特性Demo
Java21版本于 2023 年 9 月 19 日发布，自从 Java 改为 6 个月发布一个版本以来，此为如期交付的第 12 个版本。Java21 是 Java 17之后的目前最新的 LTS版本（长期技术支持版本），其中备受关注的新特性是虚拟线程和分带ZGC。虚拟线程在 Java 21中将成为正式功能。Java 21 有望将会成为继 java8 之后又一个流行的 Java 版本。接下来，让我们一探究竟，和大家分享Java21的新特性。
2023-11-30 10:30:32
713
原创 Select VS Poll VS Epoll
这里写自定义目录标题Select VS Poll VS EpollIO 多路复用SelectPoll**Poll vs Select**Epoll**Epoll vs Select/Poll**ReferenceSelect VS Poll VS EpollLinux中有一个基本概念：Unix/Linux中的所有事物都是一个文件。每个进程都有一张file descriptors的表来指向文件，sockets, 设备或操作系统对象。通过使用多个IO源工作的典型系统有一个初始化阶段，然后进入某种待机模
2020-11-12 11:20:36
218
1
原创 消息队列——史上最全，面试必备！
文章目录1. 什么是消息队列1.1 为什么要使用消息队列？1. 解耦2. 异步3. 削峰/限流1.2 使用消息队列会遇到的问题1. 高可用2. 消息丢失1.2.1. 生产阶段丢失数据1.2.2 存储阶段（MQ中间件）丢失数据1.2.3 消费阶段丢失数据3. 重复消费3.1 什么情况下会发生重复消费的情况?3.2 什么叫幂等性？3.3 如何保证幂等性？4. 消息的顺序性4.1 rabbitmq保证数据的顺序性5. 分布式事务6. 场景题6.1 MQ积压几百万条数据怎么办？6.2 设置TTL导致大量数据丢失参考
2020-07-20 15:17:38
872
原创 笔试必备，行测图形推理
图形推理图形相似类别一：图形相似，数量无变化- 白色三角形：逆时针移动- 黑色三角形：向上移动- 米字形：向下移动图形相似，且无数量变化常见位置变化：图形平移：元素、方向、距离图形旋转：方向，角度图形翻转：上下翻转、左右翻转- 白点顺时针- 黑点逆时针 选择D上下上第一个图形和第三个图形左右对称选择A类别二：图形相似，数量变化去同存异考虑叠加第三个图形等于图一图二叠加，去同存异去异存同规律叠加*（常见）白三角+白三角 = 白三角
2020-06-19 21:06:50
1382
原创 服务熔断Hystrix
服务熔断Hystrix服务容错的核心知识雪崩效应在微服务架构中，一个请求需要调用多个服务是非常常见的。如客户端访问A服务，而A服务需要调用B服务，B服务需要调用C服务，由于网络原因或者自身的原因，如果B服务或者C服务不能及时响应，A服务将处于阻塞状态，直到B服务C服务响应。此时若有大量的请求涌入，容器的线程资源会被消耗完毕，导致服务瘫痪。服务与服务之间的依赖性，故障会传播，造成连锁反应...
2020-04-27 23:28:18
219
原创 Java的Scanner类
今天被自己菜哭- -|因为不了解Scanner的特性Scanner scan = new Scanner(System.in);// 很简单，这里就是读取下一个输入的数字int n = scanner.nextInt();// 但是当我要读取下一行String可以直接nextLine()吗？String s = scanner.nextLine();System.out.print...
2020-04-26 23:26:25
171
原创 垃圾收集器和内存分配策略【读书笔记】
哪些内存需要回收? 什么时候回收? 如何回收? 哪些对象需要回收引用计数算法可达性分析算法（JVM使用）可以作为GC Roots的对象包括以下四种： 虚拟机栈（本地变量表）中引用的对象 方法区中类静态属性引用的对象 方法区中常量引用的对象 本地方法栈中JNI引用的对象 引用类型 强引用 (Object obj =...
2020-04-26 15:09:47
148
原创 写一个死锁程序
import java.util.concurrent.TimeUnit;/** * @Author: ^Sparkle。 * @Date: 2020/4/19 15:44 **/public class deadlock { private static Object num1 = new Object(); private static Object num2 =...
2020-04-19 16:09:30
182
原创 HashMap底层源码实现
首先需要明确的是HashMap 内部结构：可以看作是数组和链表结合组成的复合结构，数组被分为一个个桶（bucket），每个桶存储有一个或多个Entry对象，每个Entry对象包含三部分：key（键）、value（值），next(指向下一个Entry），通过哈希值决定了Entry对象在这个数组的寻址；哈希值相同的Entry对象（键值对），则以链表形式存储。如果链表大小超过树形转换的阈值（TREE...
2020-04-19 11:55:01
180
原创 什么是死锁，如何解决？
目录1. 定义：2. 死锁产生的必要条件：3. 预防死锁：4. 解决方法：5. 避免死锁的算法5.1 线性资源分配法5.2 系统安全状态法5.3 银行家算法1. 定义：死锁是指两个或两个以上的线程在执行过程中，由于竞争资源或者由于彼此通信而造成的一种阻塞的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相...
2020-04-14 10:52:02
452
原创 TensorboardX绘制Pytorch神经网络结构图踩坑笔记
import torchimport torch.nn as nnfrom tensorboardX import SummaryWritercfg = { 'VGG11': [64, 'M', 128, 'M', 256, 256, 'M', 512, 512, 'M', 512, 512, 'M'], 'VGG13': [64, 64, 'M', 128, 128, ...
2019-06-17 11:18:40
872
1
转载 External RNA Controls Consortium (ERCC)
ERCC是啥？外部RNA控制联盟，就是一套RNA-seq，基因表达检测过程中的控制系统，使得结果具有可重复性。RNA Spike-in Controls for Gene ExpressionWhile early gene expression measurements with DNA microarrays were groundbreaking in their ability...
2019-03-15 15:52:47
1410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人