- 博客(51)
- 收藏
- 关注
RSS订阅
原创 dubbo中的spi 技术
我们从图中的 private static final Protocol refprotocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();这句代码入手。一、扩展加载器我们先看getExtensionLoader（Protocol.class）这行代码，进入内部：...
2018-07-18 22:34:31
1357
原创 真*dubbo 源码分析(一)
这一部分主要是解析dubboxml 的标签，以及referenceBean的动态代理，注册zkclient 以及zk 的监听器个人理解，如有不对还望指出，一同进步 首先，根据dubbo 自定义的继承于namespacehandlesupport 将会去解析 dubbo xml 里面的各个标签。 为什么会提交给namespacehandlesupport 呢？准确的说应该是dubbona...
2018-07-02 16:20:57
332
原创 Mybatis之SqlSessionFactoryBean源码初步解析(一)
Mybatis 的两个入口一个是SqlSessionFactoryBean， 另外一个是MapperScannerConfigurer。这个可以在spring.xml 配置中找到。SqlSessionFactoryBean实现了InitializingBean接口，InitializingBean接口必须得实现afterpropertiesset（）方法，此方法将配置文件中的各种属性列如 mapp...
2018-05-14 15:23:37
3842
原创 ds一些不易排查问题的总结
任务执行期间 自动把自己杀死了退出码137，且任务多是在worker 本地执行的任务（比如datax），137 无故退出要么是手动杀死，又或者是oom 了，这是因为datax 需要本地的资源执行， 当worker 并发量大的时候xmx和xms 不是一样的。导致任务资源膨胀起来之后oom 了。解决方案，减小worker 的并发量，或者将这些消耗本地资源的任务放到非worker 上执行。任务没有设置延迟，但是会显示延时执行，（集群时间不统一）
2023-07-31 10:14:55
311
原创 datax 打包本地debug 执行
我需要将/Users/trueland/Documents/soft/datax/plugin/reader/elasticseachreader 删除 将项目中 的esreader target/datax/elasticsearchreader 复制到/Users/trueland/Documents/soft/datax/plugin/reader 下即可。5.注意项，datax 运行加载的代码是datax home 下打包好的代码，不是datax 启动项目下的代码。1.全量 打包 datax。
2023-07-31 10:06:09
573
原创 dolphinscheduler的ProcessDefinition流程分析
并行度/开始和结束之间总共次数选择最小值作为command的个数+依赖的schedules个数的command。使用CountDownLatch闭锁逻辑将所有commands转换成processInstance。生成自己本身/再生成依赖的schedules个数的command。根据StateEventType进行不同的处理。正常结束意味着执行到了endprocess。commandType==其他。processInstance入库。获取当前节点的commands。根据告警设置处理告警星弟。...
2022-07-23 15:44:16
513
原创 DataSphere Studio AppConn加载流程
AppConn加载流程AppConnManager.getAppConnManager().listAppConns#mermaid-svg-sKMSjdUTL9LfCbNZ {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-sKMSjdUTL9LfCbNZ .error-icon{fill:#552222;}#mermaid-svg-sKMSjdUTL9LfCbNZ .
2022-07-23 13:44:31
279
原创 更优雅的生成（策略或者工厂模式？）
傻傻的不知道怎么起文章标题以前使用的方式public Class A{public static Map <String,FatherClass> map = new HashMap<>(16);static{map.put(son1Name,son1Class);map.put(son2Name,son2Class);}}现在使用的方式自定义注解@Target({ElementType.TYPE})@Retention(RetentionPolicy.R
2020-08-19 17:42:05
176
原创 java 根据pid 查看进程是否存活，杀掉进程，调用python
package com.hito.indai.standalone.service.algorithm;import cn.hutool.core.util.RuntimeUtil;import com.hito.indai.standalone.dto.ProcessDTO;import com.hito.indai.standalone.entity.train.TrainModel;import com.hito.indai.standalone.enums.model.TrainStatu
2020-08-19 17:21:11
1717
原创 java 获取GPU 信息（英伟达）
获取已用显存，总显存，gpu 名称，使用率等等命令获取gpu信息public class ShellService { @Value("${micronaut.server.port}") private Integer myServerPort; @Inject private TrainModelRepository trainModelRepository; private static HashMap<String, Process> p
2020-08-19 17:16:04
5875
2
原创 micronaut中遇到的坑
@PostConstruct不起作用将@Singleton 注解换成 @Context 注解， 官网上说Singleton 是懒加载模式 所以启动的时候不会调用@PostConstruct注解的方法文件上传最大值设置的不起效果此处设置的是10 个g 但是上传的时候发现 还是用默认的10M。我去这个值设置的类中查看（DefaultHttpClientConfiguration）发现设置进去了， 但是没起作用，但是1000MB 是起作用的，怀疑有bug 正在提Issues 给作者，我暂时解决的方案
2020-06-19 14:52:15
692
2
原创 micronaut-jpa只更新非空字段
micronaut 原生的情况更新所有值不管是否为null笔者接口实现逻辑将数据库中的值查出 ，将非空值覆盖到数据库中查出的值上，最后调用update接口代码import io.micronaut.aop.MethodInvocationContext;import io.micronaut.aop.chain.MethodInterceptorChain;import io.micronaut.core.annotation.Internal;import io.micronaut.dat
2020-06-16 11:33:44
1053
原创 字符串明明相等 但是equals不相等
字符串明明相等 但是equals不相等笔者遇到的情况是 有以下字符串String a= “54 06 05 00 FF FB 8B 0F” String b= “54 06 05 00 FF FB 8B 0F”a.euqals(b) 结果是false于是通过toCharArray（）方法 挨个打印字符并转成ascii码 发现a 中的空格字符的ascii 是160 而 b 是32发现 有个空格叫不间断空格 就是网页上的&npsb ，而32 是普通空格。网上的正则过滤没有用 于是自己写了
2020-05-26 14:49:08
2729
原创 hive，hdfs , mysql
将本地文件导入hive中导包前我们先建表建表语句create table order_mulit_partition(order_number string,event_time string)PARTITIONED BY(event_month string, step string) row format delimited fields terminated by '\t';...
2019-03-25 14:24:54
218
原创 activeMQ 的简单运用
文章目录客户端生产端pom客户端package com.zhuguang.jack.queue;import org.apache.activemq.ActiveMQConnectionFactory;import javax.jms.*;import java.io.File;import java.io.FileNotFoundException;import java.i...
2019-03-21 11:10:46
227
原创 spring 中AbstractApplicationContext的refresh方法
文章目录obtainFreshBeanFactoryrefreshBeanFactoryloadBeanDefinitions解析标签解析自定义标签 @Override public void refresh() throws BeansException, IllegalStateException { synchronized (this.startupShutdownMonitor)...
2018-12-26 21:40:46
338
原创 Spring源码阅读入口web.xml
Spring 源码阅读起始web.xml&amp;amp;lt;!DOCTYPE web-app PUBLIC &amp;quot;-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN&amp;quot; &amp;quot;http://java.sun.com/dtd/web-app_2_3.dtd&amp;quot; &amp;amp;gt;
2018-12-18 23:00:23
949
原创 JAVA类转成markDown 表格
字段展示代码（只写了一些初步的东西，请见谅，到时候会将一些东西抽出来的）：public class ReflectClass { public static void main(String[] args) { new ReflectClass().getField(PreCaseInfo.class); } public void getField...
2018-12-13 10:12:50
1518
原创 Dubbo的一些使用
配置consumer的xml 如下：privoder配置如下：privoder 端暂时不看， 当consumer 端在xml 中将需要调用的类配置进去的时候，dubboNamespaceSupport 会解析这些标签并且将之注入spring容器中 具体源码解析可以看此处使用xml 文件 在类中@Autowired 获取代理对象例如UserService 我们就可以在consumer ...
2018-12-09 23:52:59
280
原创 PageHelper 插件。下一页一直有数据 并且是最后的数据
PageHelper的使用情况描述本人数据库有3条数据，前端传值pageNum=1, pageSize=2，结果没有问题。心血来潮 pageNum填了10, pageSize填了2 ，可是还是有数据。我想要的结果是下一页直接不给数据。看了打印的sql语句给的是4 和2 。这边在家里，出现问题的东西在公司 就不截图了。于是我就想，肯定跟pageNum有关系。利用ctrl+shift+g 一...
2018-12-02 16:47:07
4934
转载 分布式ID生成器的解决方案总结
转载自罗思愉在互联网的业务系统中，涉及到各种各样的ID，如在支付系统中就会有支付ID、退款ID等。那一般生成ID都有哪些解决方案呢？特别是在复杂的分布式系统业务场景中，我们应该采用哪种适合自己的解决方案是十分重要的。下面我们一一来列举一下，不一定全部适合，这些解决方案仅供你参考，或许对你有用。一个ID一般来说有下面几种要素：唯一性：确保生成的ID是全网唯一的。有序递增性：确保生成的ID是对...
2018-11-23 13:37:43
193
原创 Netty之NioServerSocketChannelFactory
Netty服务端代码先上Server端的代码public static void main(String[] args) throws Exception { // 服务类 ServerBootstrap bootstrap = new ServerBootstrap(); // boss线程，主要监听端口和获取worker线程及分配socketChannel给worker线程...
2018-11-12 23:02:10
1408
原创 Mybatis之SqlSessionFactoryBean源码初步解析(三)mapper的动态代理
Mybatis之SqlSessionFactoryBean源码初步解析(三)mapper的动态代理欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdow...
2018-11-03 17:05:56
1711
原创 zookeeper 分布式锁之比较基础的原理
为什么需要分布式锁？如下图所示 ，当nignx 并发量到达10w ，tomcat1,tomcat2,tomcat3 都是订单服务，在如此高的并发量下面， 如果不做分布式锁，那么后台生成的订单编号必定重复。如果不是分布式的话，那么只要加锁就行， 可是分布式的话，不是同一个jvm那么 加sync 锁也是不行的.那么我们如何去解决呢？看下图一、通过临时文件建立分布式锁当这三个tomc...
2018-10-24 23:05:25
664
原创 mongodb 使用
先不谈片键，安装自己找所有的东西不会的 都可以通过help 来查看 eg: ./mongd --help查看函数的时候 db.collections.find().help()创建集合db.createCollection(name,options) eg:db.createCollection("mycol",{capped:true,autoIndexId:true,si...
2018-10-24 21:32:34
195
原创 maven 安装错误
运行mvn -v 出来以下的错误 Error: JAVA_HOME is set to an invalid directory. JAVA_HOME = "C:\Program Files\Java\jdk1.8.0_144" Pl 首先我系统配置的1.8.0_161 但是这边的报错是1.8.0_144. 于是很郁闷，找了很久才发现我的admin 用户里面也配置了个用户变量java_...
2018-09-06 11:03:09
478
原创 redis 事务以及分布式锁
需要讲解的 都写在注释里面了package com.fuchanghai.redis.lock;import java.util.List;import java.util.UUID;import ch.qos.logback.core.net.server.Client;import redis.clients.jedis.Jedis;import redis.clients...
2018-08-26 17:15:40
164
原创 Redis 为什么能够快存快取， 一致性hash 算法和map 中的hash 算法有何不同
首先我们先分析一下list 和hashmap 想取某个值的时间复杂度list (LinkedList 或者我们取ArrayList但是我们不知道下标)我们需要从头遍历到尾巴。可能第一次取到，也可能第二次取到即1+2+3+4+。。。+n 和为 n*（n+1）/2。一共找了n 次。所以再除以n 就是时间复杂度，即O（n+1）/2 hashmap 中的hash 算法 再来看看hashm...
2018-08-25 17:09:01
1594
原创 CountDownLatch简单例子
public class CountDownLatchDemo { public static void main(String[] args) { CountDownLatch countDownLatch = new CountDownLatch(2); new Thread(new Runnable() { @Override public void run() ...
2018-08-24 10:20:07
176
原创 Eureka入口之DiscoveryClient
首先我们用EurekaClient 就必须用到图上的两个注解之一。这两个注解有什么关系呢？两个注解这边很明显的 EnableEurekaClient 注解里面包含了EnableDiscoveryClient注解其他的注解和EnableDiscoveryClient 中的一样， 这样我是否可以理解为只要看EnableDiscoveryClient 就行了。这里网上看过上面两个...
2018-08-19 18:54:59
15713
原创 Mybatis之SqlSessionFactoryBean源码初步解析(二)主写怎么解析resultMap以及查询语句
这边文章接Mybatis之SqlSessionFactoryBean源码初步解析(一)。直接进入主题private void configurationElement(XNode context) { try { String namespace = context.getStringAttribute("namespace"); if (namespac...
2018-07-10 22:19:40
717
原创 手撸一个类似于Dubbo的远程调用
自定义标签首先自定义标签 。这边自定义在META-INF下文件名称为soa.xsd<?xml version="1.0" encoding="UTF-8"?><xsd:schema xmlns="http://www.zhuguangedu.com/schema/soa" xmlns:xsd="http://www.w3.org/2001/XMLSchema"...
2018-05-22 11:09:56
356
原创 hive 远程模式安装
首先去下载apache-hive-bin和apache-hive-src;再解压apache-hive-bin。要连接mysql数据库的话，首先得将mysql-connection 的jar包放入hive的 lib 中去官网上依次点击Hive wiki、Administrator Documentation、 Setting Up Metastore、Remote Metastore Databa...
2018-05-08 14:10:26
472
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人