自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (7)
  • 收藏
  • 关注

原创 私有CA搭建并将HTTPS应用于Tomcat、Springboot

目录1 CA概念2 HTTPS过程3 环境说明4 搭建私有CA4.1 环境准备4.2 搭建CA中心4.3 操作错误从新来过5 浏览器证书配置6 创建服务器证书6.1 环境准备6.2 创建服务器证书6.2 配置证书7 将CA证书导入JDK8 创建Tomcat服务器证书9 Tomcat的HTTPS配置9.1 单向认证9.2 双向认证...

2019-12-17 17:21:43 3476 2

原创 大数据实时同步,保证数据100%不丢失

重复b、c、d、e的过程,直至正常,也可以这是一个阈值,到了多少个快照后,不在重复以上操作,然后记录下需要补数的数据。b补数完了,再次快照V2包含N2条数据,N2<N1则说明有数据被修改,否则是正常的。d补数完了,再次快照V3包含N3条数据,N3<N2则说明有数据被修改,否则是正常的。解决方案:以实时同步为主,离线同步为辅,在实时同步失败时,用离线同步的方式补齐。5 更新操作在补数时,可能会出现被修改的情况,使用快照版本的方式,进行解决。c对N1-N2的数据进行补数。e对N2-N3的数据进行补数。

2023-10-20 08:58:59 135

原创 Doris中如何保证数据的幂等性

2 sequence 列,可以保证数据在写入时根据某一个字段进行排序,一般情况下是时间字段,例如update_time,数据在被写入时,大的update_time会覆盖update_time小的记录,这样就能保证数据是最新的。1 Unique 模型,可以保证数据在写入时,同一条数据只会保存一条。当同一条数据被写入多次时,doris会显示最近写入的那条数据。3 doris routine load与kafka结合使用,实时数据写入,同时也能保证容错性。在doris中有两个特性,可以保证数据的幂等性。

2023-06-13 15:19:50 291

原创 DataX Mysql8兼容问题

1 问题描述 问题描述可以去看https://github.com/alibaba/DataX/issues/146 主要报错java.sql.SQLException: The connection property 'zeroDateTimeBehavior' acceptable values are: 'CONVERT_TO_NULL', 'EXCEPTION' or 'ROUND'. The value 'convertToNull' is not acc...

2021-07-29 16:22:28 813

原创 spark streaming程序中代码在驱动器(driver)执行还在在执行器(executor)中执行的问题

word count的例子import kafka.serializer.StringDecoder;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.VoidFunction;import org.a

2020-05-14 16:56:48 702

原创 Spring Cloud 明文密码加密解密

1 背景,加密方式,可以直接跳转到https://segmentfault.com/a/11900000123638412 使用场景 Spring Cloud Config 的解决方案,建议只是在配置中心使用,并且也只有注册中心和配置中心中涉及到到的敏感信息加密使用该方式。因为配置中心在进行动态刷新时,会先用注册中心DOWN,然后再UP。在这个过程中会读取相关信息,使用该方式加密会更...

2019-08-14 10:40:01 1051

原创 微服务-分布式事务-TX-LCN的Eureka版本实例

1 版本信息spring-boot-starter-parent : 2.1.4.RELEASEspring-cloud-dependencies:Greenwich.SR1txlcn:5.0.2.RELEAS2 环境2.1 host设置############## eureka 127.0.0.1 my-peer1 127.0.0.1 my-peer2...

2019-07-10 11:47:17 658

plugin-rdbms-util-0.0.1-SNAPSHOT.jar

解决datax mysql8兼容性问题

2021-07-29

私有CA搭建并应用于Tomcat、Springboot.docx

搭建一个私有CA,使用到不同组件中,并进行测试。 博客会有最新版https://blog.csdn.net/u013256012/article/details/103583868 如果只是1个tomcat服务和浏览器之间使用HTTPS,那么只需要在tomcat的密码库添加浏览器的证书,在浏览器密码库中添加tomcat的证书,那么就可以在浏览器中使用https进行访问了。网上博客大部分关于Tomcat配置HTTPS都是基于这一点进行配置的。推荐,https://blog.csdn.net/dwyane__wade/article/details/80350548 如果tomcat服务比较多,那么每一个都需要像上面一样来回添加证书,比较繁琐,这个时候,使用CA机构进行认证时比较方便的。这也时,私有CA搭建以及使用的过程。

2019-12-17

txlcn-demo.rar

微服务中的分布式事务框架tx-lcn实例,该实例的注册中心为eureka。相关版本, spring-boot-starter-parent : 2.1.4.RELEASE, spring-cloud-dependencies:Greenwich.SR1, txlcn:5.0.2.RELEAS

2019-07-10

spring-boot-master.rar

总共三个demo,分别是 对springcloud的注册中心做Ha,配置中心,配置中心+消息总线+kafka。springcloud 使用的版本是spring-boot-starter-parent -> 2.1.4.RELEASE, spring-cloud-dependencies -> Greenwich.SR1。

2019-05-20

Kafka常用命令合集

Kafka常用的命令操作,包括服务的启动管理,主题、分区、生产者、消费者、配置、镜像操作,最后加了开启kafka jmx监控的一种方式。

2018-09-18

Hadoop生态圈搭建

在Ubuntu系统下安装Hadoop圈中的部分软件。 VMWare Ubuntu SSH JDK Hadoop MySQL Hive Hbase Mahout Sqoop Spark Flume Kafka ElasticSearch Redis Phoenix

2016-10-09

jsp 数据库基本操作实验

jsp数据库基本操作实验+mysql数据库连接

2013-12-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除