cxy_19891109的博客

原创 文件工具类

/**@author chenxiaoyang@description:@dATE:2021/3/26 15:42*/public class FileUtils {private static Logger log = LoggerFactory.getLogger(FileUtils.class);/**修改程序。内部递归调用，进行子目录的更名@param path 路径@param from 原始的后缀名，包括那个(.点)@param to 改名的后缀，也包

原创 第三方接口转换工具类

转换示例：{“retCode#int”: “code”, “parkInfo#data”: [{“dataType#int”: “DATA_TYPE”, “parkingId#int”: “PARKING_ID”, “realBerth#int”: “REAL_BERTH”, “address#string”: “ADDRESS”, “markExpiry#int”: “MARK_EXPIRY”, “monthBerth#int”: “MONTH_BERTH”, “totalBerth#int”: “TO

原创 Kafka 消息不丢失配置

客户端配置服务端配置

原创 Excel宏编程代码，根据混合的名次合并计算进退值

原始的期中名次，保存在sheet4中，以sheet4的C和D来存储期末名次和进退值期末名次在Sheet5:由于sheet4和sheet5是乱序的，所以需要匹配合并，先用Excel查看代码：直接上代码：Sub 合并名次排序()arr4A = Worksheets("sheet4").Range("A1") '选择sheet4 A列arr4A = Worksheets("sheet4").UsedRangearr4B = Worksheets("sheet4").Range("B1")

原创 Excel宏编程，给出2列进行去重合并

Sub 去重合并()arr = Worksheets("sheet1").Range("D1").Clear '选择D列作为存储列，保存最后去重合并的值arr = Worksheets("sheet1").UsedRangeDim ARow As Long 'A列的行数Dim BRow As Long 'B列的行数ARow = Sheet1.Range("A" & Rows.Count).End(xlUp).Row '不带空格的行数BRow = Sheet1.Range..

原创 潜在狄利克雷分配变分EM算法推导全过程

原创 Baum-Welch算法的公式推导

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210203185247603.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eV8xOTg5MTEwOQ==,size_16,color_FFFFFF,t_70

原创 4、Canal的 instance模块

一、总体结构如确所述，Canal server的模式有两种：manager和spring在core模块中，定义了CanalInstance接口，以及其抽象类子类AbstractCanalInstance。在spring模块，提供了基于spring配置方式的CanalInstanceWithSpring实现，即CanalInstance实例的创建，通过spring配置文件来创建。在manager模块中，提供了基于manager配置方式的CanalInstanceWithManager实现，即Cana

原创 3、Canal的server模块

一、模块结构server模块的核心接口是CanalServer，其有2个实现类CanalServerWithNetty、CanalServerWithEmbeded。关于CanalServer，官方文档中有有以下描述：网上解读：左边的图表示的是Canal独立部署。不同的应用通过canal client与canal server进行通信，所有的canal client的请求统一由CanalServerWithNetty接受，之后CanalServerWithNetty会将客户端请求派给Canal

原创 2、Canal的deployer模块

一、整体模块构成canal有两种使用方式：1、独立部署 2、内嵌到应用中。 deployer模块主要用于独立部署canal server。关于这两种方式的区别，请参见server模块源码分析。deployer模块源码目录结构如下所示，包括启动和停止脚本，服务的相关配置文件等。deployer模块主要完成以下功能：1、读取canal,properties配置文件2、启动canal server，监听canal client的请求3、启动canal instance，连接mysql数据库，伪装成s

原创 Canal简介

一、简介canal是阿里巴巴开源的mysql数据库binlog的增量订阅&消费组件。项目github地址为：https://github.com/alibaba/canal。主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消

原创 jackson序列化和反序列化技巧

1、序列化（别名方式）采用@JsonProperty 注解标识别名如果属性是非String类型的，可以设置相关的序列化过滤原则，比如Long型的，定义为0时过滤，在相关字段上加@JsonSerialize指定相关规则:public class TraceInfo implements Serializable {/** * 轨迹唯一标识 */@JsonProperty("ti")p...

原创 Java上传文件到FTP中文名称处理

一、问题回顾在上传文件到FTP服务器时，使用英文名都是能够正常上传文件的，但是文件名称带中文时会服务器会返回如下错误信息：The filename, directory name, or volume label syntax is incorrect.经过调试发现，下面这句上传文件的代码返回的是false:boolean storeFile = ftpClient.storeFile(S...

原创 springboot升级的kafka配置修改

一、问题回顾为了配合krpc的升级，需要升级项目的springboot版本从2.0.2到2.2.1，一开始在本地启动项目一切正常，但是在uat并行环境，出现问题，报错如下：为什么本地没有出现错误而并行环境出现了？二、本地错误场景制造将本地kafka监听的topic修改成没有的：再次启动：成功造出一样的报错信息！三、原因分析这个错误的原因是：消费监听接口监听的主题不存在时，默...

原创 Phoenix存储与查询性能研究

1、前期准备数据表：轨迹信息表：TRACE_INFO2、插入数据研究目前不支持批量插入数据的接口，模拟只能循环插入数据，测试一个批量插入100000条数据，平均时间大概在190s。目前表里已经有1000000条数据：3、根据条数限制查询查询100条（0.314s）：4、根据某个ID进行查询(0.175s)ID 是唯一的主键5、根据订单号进行查询（非主键，也无索引）（7...

原创 Hbase过滤器

转载 Phoenix介绍

一、什么是Phonenix?Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同...

原创 Hbase的NameNode和DataNode

原创 Hbase存储坐标数据设计

1、设计方案：由于Hbase是列式存储的数据库，而索引主要靠行健rowkey，所以对表设计的相关问题主要考虑行健设计。考虑到坐标数据实时存储问题，由于是每隔一段时间进行坐标数据的推送和存储，所以行健设计采用：订单短号+时间戳设计的方式，一方面可以保证行健的唯一性，另一方面可以便捷的进行数据的查询。为了保证Hbase坐标数据的查询，可以借助Mysql关系型数据库的辅助作用，用mysql来存储轨迹数...

原创 Hbase伪分布式环境搭建

搭建的硬件环境：centos7需要下载的文件：jdk1.8、zookeeper-3.4.14、hadoop-2.8.5、hbase-2.1.6下载地址：jdk1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlzookeeper-3.4.14.tar.gz ...

转载 Mysql触发器

什么是触发器简单的说，就是一张表发生了某件事（插入、删除、更新操作），然后自动触发了预先编写好的若干条SQL语句的执行；特点及作用特点：触发事件的操作和触发器里的SQL语句是一个事务操作，具有原子性,要么全部执行，要么都不执行；作用：保证数据的完整性，起到约束的作用；例子：创建触发器，记录表的增、删、改操作记录接下来将创建user和user_history表，以及三个触发器tri_in...

原创 Hbase协处理器

原创 Hbase优化策略

原创 Hbase行键设计策略

原创 Hbase表设计相关问题

原创 Hbase查找Root

原创 Hbase数据存储解析

原创 Hbase存储设计

原创 Hbase数据表解析

原创 jdk12新特性研究

测试的POM文件：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=...

原创 jdk11新特性研究

1、基于嵌套的访问控制public class NestAccessExample {public static class X { void test() throws Exception { Y y = new Y(); y.y = 1; //jdk8会报IllegalAccessException,除非加field.setAcces...

原创 【原创】Java反射自动生成POSTMAN测试接口文档

通过pb文件生成的Java接口，转成postman说需要的json格式字符串，直接上代码： /** * @param clsName * @param port * @description 获取当前服务所有接口，构造postman服务，这里可以选择当前所有服务的接口所在接口名，或者单独某个接口的类名 */private String generatePostManCollection...

转载 Java8测量流性能

转载 Java8自定义收集器

转载 Java8流的分区

转载 Java8分组收集数据

转载 Java8流的分组

转载 Java8原始类型流特化

转载 Java8的Optional 简介

转载 Java8流的查找和匹配