- 博客(32)
- 收藏
- 关注
RSS订阅原创 SpringBoot接入微信公众号模板消息推送
一 以微信公众号方式接入1.1 创建公众号，添加机器人，配置权限首先想要对接，先要一个公众号，再就是开发文档了：https://developers.weixin.qq.com/doc/offiaccount/Getting_Started/Overview.html不过请注意这一点1.2 引入wxjava公众号 对应的pom <dependency> <groupId>com.github.binarywang&l
2022-03-23 15:14:03
2002
1
原创 SpringBoot接入钉钉机器人推送消息
一 钉钉以机器人方式接入1.1 创建钉钉群，添加机器人，配置权限1.2 引入dingtalk SDK <dependency> <groupId>com.aliyun</groupId> <artifactId>alibaba-dingtalk-service-sdk</artifactId> <version>2.0.0</versi
2022-03-17 14:03:22
1320
原创 DataX使用指南(二)，整合DataX-web
DataX介绍及使用指南一、DataX介绍、安装及使用二、DataX-web 介绍三、DataX-web 部署3.1 下载源码3.2 快速上手3.3 调试1.4简单使用一、DataX介绍、安装及使用DataX 相关内容上篇文章已经介绍过了，猛戳这里》》》 了解DataX详情二、DataX-web 介绍DataX Web是在DataX之上开发的分布式数据同步工具。提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数
2021-08-10 09:53:16
874
原创 DataX介绍及使用指南(一)
DataX介绍及使用指南DataX概述DataX框架设计DataX使用1.1System Requirements1.2快速上手功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入DataX概述DataX 是一个异构数据源离线同步工
2021-07-07 11:06:00
1282
原创 Kettle
介绍ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环，也是工作量较大的一块。Kettle是ETL中其中一个开源工具，基于纯Java开发。Kettle最早叫做Kettle，后来该名为PDI.Kettle有三个主要组件：Spoon、Kitchen、Pan Spoon：是一个图形化的界面，可以让我们用图形化的方式开发转换和作业。windows选择Spoon.bat; Linux选
2021-05-31 09:07:21
249
原创 HDFS学习(一)
HDFSHDFS 代表 Hadoop 分布式文件系统，主要是Hadoop的存储，用于海量数据存储。具有高容错的特点，提供高吞吐率的数据访问。HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode或以上(HA:一个NameNode处于active状态，另一个处于standby状态)和若干个DataNode组成的。1.Namenode是整个文件系统的管理节点。它维护着1.整个文件系统的文件目录树，2.文件/目录的元信息和每个文件对应的数据块列表。3.接收用户的操
2020-08-27 22:32:52
164
原创 Flink学习04——Data Sink 介绍
Sink简单说就是将Flink流计算的结果输出到某个地方(Mysql\Redis\Kafka\Cassandra etc)。从上图可以看到自带的 Sink 都是继承了 RichSinkFunction 抽象类，实现其中的方法。那么我们要是自己定义 Sink 的话其实也是要按照这个方法来做。这里我说下自己目前做告警这块就是把计算结果的Sink发到kafka和redis中。发送到kafka前面已经说过，这里主要展示下自定义redisSink的写法：上图将结果的数据流addSink(new 自定义Sin
2020-07-23 10:38:05
243
原创 Flink学习03——Data transformation(算子) 介绍
Transformation数据转换的各种算子，有 Map / FlatMap / Filter / KeyBy / Reduce / Aggregations / Window / WindowAll / Union / Window join / Split / Select 等，算子很多，可以将数据转换计算成想要的数据集。Map最简单的转换之一，其中输入是一个数据流，输出的也是一个数据流FlatMap输入是一个数据流，输出的可以是一个或多个数据流。Filter根据条件判断出结果数据流。
2020-07-22 17:19:26
278
原创 Flink学习02——Data Source 介绍
Flink 做为流式计算框架，它可用来做批处理，处理静态的数据集、历史数据集；也可以用来做流处理，处理实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data Sources 就是数据源。Flink 中你可以使用 StreamExecutionEnvironment.getExecutionEnvironment().addSource(sourceFunction) 来添加数据源。Flink 已经提供若干实现好了的 source functions。s
2020-07-16 16:14:01
184
原创 Flink学习01—— Flink 介绍
前言Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在做的项目是平台业务的告警部分，负责告警这边需要从 kafka topic 里面实时读取到终端数据，并将读取到的终端数据做一些 聚合/转换/计算 等操作，然后将计算后的结果与告警规则的阈值进行比较，然后做出相应的告警措施。画了个简单的图如下：Flink是什么？批处理 （处理历史数据集）流处理 （处理实时数据流）事件监控 (监控事件的服务)Flink APISFlink 基石 (CheckPoint\State
2020-07-16 11:46:14
193
原创 SpringCloud-Zuul(网关)
一、什么是API网关在微服务架构中，通常会有多个服务提供者。假设一个电商平台，可能会有商品、订单、支付、用户、物流等多个类型的微服务，而每个类型的微服务数量也会随着整个系统体量的增大也会随之增长和变更。作为UI端，在展示页面时可能需要从多个微服务中聚合数据，而且服务的划分位置结构可能会有所改变。网关就可以对外暴露聚合API，屏蔽内部微服务的微小变动，保持整个系统的稳定性。当然这只是网关众多功能中的一部分，它还可以做负载均衡，统一鉴权，协议转换，监控监测等一系列功能。二、Zuul网关简介(Zuul是做
2020-06-05 15:42:44
171
原创 数据一致性(CAP原则)
数据一致性当说到集群的时候，就无法不提到数据一致性的问题。分布式下，有一个著名的CAP原则。C指数据一致性，A指服务可用性，P则是分区容忍性。CAP三者，最多可得其二。如在单点服务中，由于不存在分区，则可达到CA。而在分布式服务里，基于分布式本身的特性，服务存在于多个服务中，依靠网络连接。在这种情况下，由于网络延迟等原因，分区是必然存在的。也就是说，在分布式下，P必然存在，任何集群都需要在C和A中做选择。在这样的背景下，根据选择的不同，集群服务可能是AP的，也可能是CP的。如果是AP的，则集群允许在段
2020-06-03 09:24:18
2494
原创 HttpClient、OKhttp、RestTemplate接口调用对比，选择一个优秀的 HTTP Client 的重要性
选择一个优秀的 HTTP Client 的重要性连接池请求/响应编解码(异步、超时设置等)API丰富程度及扩展性JAVA 项目中接口调用怎么做 ？HttpClientOKhttpRestTemplate上面是最常见的几种用法，我们基于目前主流的SpringBoot简单的介绍一下用法及对比。基于springboot的HttpClient、OKhttp、RestTemplate对比一、HttpClient1、HttpClient 是Apache的一个三方网络框架，网络请求做了完善的
2020-05-13 15:05:37
12400
原创 SpringBoot2.x集成knife4j
什么是swagger，为什么要使用swagger?当下大部分新项目开发时都会采用前后端分离的模式，API接口就成了前后端唯一的关联、约定。前端工程师如何知道哪个接口是干嘛的？里面需要什么参数？请求的方式是什么？… 这时候就需要一份简洁且详尽API文档，swagger就是用来自动生成API文档的，用于定义API文档的一个框架。如何使用swagger?环境说明：IDEA版本： 2019版JD...
2020-04-29 14:48:56
7622
原创 SpringBoot2.x集成Swagger2
什么是swagger，为什么要使用swagger?当下大部分新项目开发时都会采用前后端分离的模式，API接口就成了前后端唯一的关联、约定。前端工程师如何知道哪个接口是干嘛的？里面需要什么参数？请求的方式是什么？… 这时候就需要一份简洁且详尽API文档，swagger就是用来自动生成API文档的，用于定义API文档的一个框架。如何使用swagger?环境说明：IDEA版本： 2019版JD...
2020-04-28 10:56:08
1696
原创 Spring Boot - RestTemplate在URL中转义字符问题
遇到的问题相同代码在不同SpringBoot版本中使用RestTemplate请求时遇到的问题： Map<String, Object> param = new HashMap<String, Object>(); param.put("version","2.0.0"); String userSing =...
2020-03-11 16:55:25
4596
原创 Docker-compose部署flink
一、简写安装 Docker及docker-compose在 docker-compose部署kafka一文中以简单介绍了Docker及docker-compose的安装，在这里就不再赘述了，让我们直接步入主题。二、通过docker-compose部署flink可参考 https://hub.docker.com/_/flink/1. docker-compose.yml脚本创建Flink...
2020-03-01 14:50:40
3372
原创 Docker-compose部署kafka
一、简写安装 Docker及docker-compose1. 安装Docker# 安装依赖sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm2# 添加docker下载仓库sudo yum-config-manager \ --add-repo \ https://download...
2020-02-29 22:02:41
1092
原创 大流量高并发网站架构设计步骤演变
大流量高并发网站架构设计步骤演变大型网站系统的特点大流量高并发网站的演变过程大型网站系统的特点高并发，大流量：需要面对高并发用户，大流量访问，Google日均PV数为35亿，日均IP访问数为3亿，2011年腾讯QQ最大用户在线数1.4亿，淘宝2012年双11活动一天交易额191亿，活动开始第一分钟独立访问用户达1000万拓展: PV、UV、IV的概念PV: PV访问量（Page View...
2019-10-30 10:34:45
492
原创 java8的时间Date比较
java8提供了新的时间接口。相对Date,Calendar,个人感觉最大的好处是对时间操作的学习成本很低，比Calendar低。1. LocalDate,LocalTime,LocalDateTimeLocalDate 代表日期，LocalTime表示时刻，类似11:23这样的时刻。LocalDateTime就是前面2个的结合,这个可以从java.time.LocalDateTime#t...
2019-10-22 08:51:02
3866
6
转载 Spring Boot各种日志记录方式详解
1、日志框架比较（slf4j、log4j、logback、log4j2）Spring Boot在所有内部日志中使用Commons Logging，但是默认配置也提供了对常用日志的支持，如：Java Util Logging，Log4J, Log4J2和Logback。每种Logger都可以通过配置使用控制台或者文件输出日志内容。1.1 slf4jslf4j是对所有日志框架制定的一种规范、标...
2019-10-14 14:46:50
599
原创 Mybatis常见题
1、什么是Mybatis？（1）Mybatis是一个半ORM（对象关系映射）框架，它内部封装了JDBC，开发时只需要关注SQL语句本身，不需要花费精力去处理加载驱动、创建连接、创建statement等繁杂的过程。程序员直接编写原生态sql，可以严格控制sql执行性能，灵活度高。（2）MyBatis 可以使用 XML 或注解来配置和映射原生信息，将 POJO映射成数据库中的记录，避免了几乎所有的...
2019-10-14 14:14:01
171
转载 阿里巴巴MYSQL数据库设计，查询规范
(一)建表规约1.【强制】表达是与否概念的字段，必须使用 is_xxx的方式命名，数据类型是 unsigned tinyint（ 1表示是，0表示否），此规则同样适用于 odps建表。 说明：任何字段如果为非负数，必须是 unsigned。 个人备注： Open Data Processing Service， 简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的...
2019-08-27 15:33:13
455
原创 SpringCloud-Eureka(服务注册与发现)
Eureka是Netflix开发的服务发现框架，本身是一个基于REST的服务，主要用于定位运行在AWS域中的中间层服务，以达到负载均衡和中间层服务故障转移的目的。SpringCloud将它集成在其子项目spring-cloud-netflix中，以实现SpringCloud的服务发现功能。一、Eureka简介及基本原理Eureka包含两个组件：Eureka Server和Eureka Cli...
2019-08-22 16:36:58
1302
原创 SpringCloud-Eureka常用配置
eureka.server.enable-self-preservation：是否开启自我保护模式。eureka.client.registerWithEureka：表示是否将自己注册到Eureka Server，默认为true。eureka.client.fetch-registry：表示是否从Eureka Server获取注册信息，默认为true。eureka.client.servic...
2019-08-14 13:44:16
226
原创 SpringCloud 微服务架构介绍
一、简单介绍目前spring-cloud的最新版本是基于 spring-boot 2.x，由于2.x 在 1.x的基础上有了很大的架构变化，包括很多1.x的类和方法在2.x 中不是被修改，就是废弃，当然还包括其本身存在的bug。二、组件介绍根据本人学习及接触到的内容自行搭建的架构(2.x版本搭建微服务架构)，由于工作比较忙，目前还在完善中，先来介绍一下目前已使用的组件：eureka 注册...
2019-06-26 17:23:24
142
原创 mybatis中"#{}"和"${}"的区别
动态 sql 是 mybatis 的主要特性之一，在 mapper 中定义的参数传到 xml 中之后，在查询之前 mybatis 会对其进行动态解析。mybatis 为我们提供了两种支持动态 sql 的语法：#{} 以及 ${} 。1、#相当于对数据 加上 双引号，$相当于直接显示数据。2、#{} ： 根据参数的类型进行处理，比如传入String类型，则会为参数加上双引号。#{} 传参在进行S...
2019-06-06 09:54:43
10888
1
转载 Maven Pom文件标签详解
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apac...
2019-05-05 15:27:35
170
原创 Maven简介及攻略
一、为什么使用Maven构建工具？一个项目就是一个工程如果项目非常庞大，就不适合使用package来划分模块，最好是每一个模块对应一个工程，利用分工协作。借助Maven可将一个项目拆分成多个工程。项目中使用jar，需要"复制"、"粘贴"到项目的lib中同样的jar重复出现在不同的项目工程中，你需要做不停的复制粘贴的重复工作。借助于maven，可以将Jar保存在"仓库"中,不管在哪个...
2019-04-20 14:34:27
305
1
原创 简略分析Mybatis 源码
Mybatis简略工作原理。本文建立在Spring+SpringMVC+Mybatis整合的项目之上。我将其工作原理分为六个部分：读取核心配置文件mybatis-config.xml并返回InputStream流对象。根据InputStream流对象解析出Configuration对象，然后创建SqlSessionFactory工厂对象。根据一系列属性从SqlSessionFactory...
2019-03-20 21:52:56
86
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人