- 博客(26)
- 资源 (47)
- 收藏
- 关注
RSS订阅转载 springboot -- 定时任务动态设置
1、基于@Scheduled可配置开发application.propertites：read.timer.parmas=0 0/1 * * * *定时类：@Componentpublic class ScheduledService {Logger logger= LoggerFactory.getLogger(ScheduledService.class); @Sc...
2020-02-28 11:16:28
1225
转载 Kafka日志删除策略
0x00 概述kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为test_perf的topic。假设两个partitions,那么我们可以在tmp/kafka-logs...
2020-02-24 17:40:33
2135
转载 Guava-RateLimiter详解
参考文章：Guava-RateLimiter详解常用的限流算法有漏桶算法和令牌桶算法，guava的RateLimiter使用的是令牌桶算法，也就是以固定的频率向桶中放入令牌，例如一秒钟10枚令牌，实际业务在每次响应请求之前都从桶中获取令牌，只有取到令牌的请求才会被成功响应，获取的方式有两种：阻塞等待令牌或者取不到立即返回失败，下图来自网上：ratelimite原理图本次实战，我们用...
2020-02-24 10:54:21
1493
原创 SpringBoot 整合kafka
参考文章：kafka学习（7）-Springboot整合kafka-多线程springboot整合kafka
2020-02-23 09:42:41
373
转载 kafka介绍
参考文章：https://cloud.tencent.com/developer/article/1374018kafka介绍我们认为，一个流处理平台具有三个关键能力：发布和订阅消息（流），在这方面，它类似于一个消息队列或企业消息系统。 以容错的方式存储消息（流）。 在消息流发生时处理它们。什么是kakfa的优势？它应用于2大类应用：构建实时的流数据管道，可靠地获取系统和...
2020-02-23 09:29:50
353
转载 Kafka和ElasticSearch的整合
参考文章：Kafka和ElasticSearch的整合三种方案：Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序) Kafka->kafka-connect-elasticsearch->elasticsearch->kibana(与confluent绑定紧，有些复杂) https://githu...
2020-02-22 14:14:26
1810
转载 实战场景 Flink读取kafka数据,处理以后写入到ElasticSearch
参考文章：实战场景 Flink读取kafka数据,处理以后写入到ElasticSearch添加pom： <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.9_2.11</arti...
2020-02-22 14:06:59
2759
转载 SpringBoot之Jdbc使用druid数据源操作
参考文章：SpringBoot高级篇JdbcTemplate之数据插入使用姿势详解I. 环境1. 配置相关使用SpringBoot进行db操作引入几个依赖，就可以愉快的玩耍了，这里的db使用mysql，对应的pom依赖如<dependencies> <dependency> <groupId>mysql</grou...
2020-02-18 22:08:18
124
原创 java.util.Date和java.sql.Date的区别和相互转化
共同点：都有getTime方法返回毫秒数，可以直接构建不同点：java.sql.Date是针对SQL语句使用的，它只包含日期而没有时间部分，一般在读写数据库的时候用，PreparedStament的setDate()的参数和ResultSet的getDate()方法的都是java.sql.Date java.util.Date是在除了SQL语句的情况下面使用，一般是日常日期字段 j...
2020-02-18 17:29:01
298
转载 springboot 参数校验详解
目标对于几种常见的入参方式，了解如何进行校验以及该如何处理错误消息； 了解springboot 内置的参数异常类型，并能利用拦截器实现自定义处理； 能实现简单的自定义校验规则一、PathVariable 校验在定义 Restful 风格的接口时，通常会采用 PathVariable 指定关键业务参数，如下：@GetMapping("/path/{group:[a-zA-Z0-9...
2020-02-18 12:23:39
1833
转载 浅析VO、DTO、DO、PO的概念、区别和用处
参考文章：浅析VO、DTO、DO、PO的概念、区别和用处在spring中该如何使用DTO，以及DTO和Entity的关系DTO和Entity的关系DTO是用于将后台的数据结构（javaBean）转换为对用户友好的表现方式的数据结构，同时也能防止后台数据直接传送到前台而存在的潜在危险。 可以时候要哪个springbot框架提供的转换器接口：org.springframework.c.........
2020-02-18 12:11:38
857
1
原创 变量命名常用缩写
argument可缩写为arg buffer可缩写为buff clock可缩写为clk command可缩写为cmd compare可缩写为cmp configuration可缩写为cfg device可缩写为dev error可缩写为err hexadecimal可缩写为hex increment可缩写为inc in...
2020-02-17 20:56:16
5171
2
转载 MYSQL优化策略
参考文章：MySQL千万级大表优化1. 背景介绍1.1 数据量：千万级千万级其实只是一个感官的数字，就是我们印象中的数据量大。这里我们需要把这个概念细化，因为随着业务和时间的变化，数据量也会有变化，我们应该是带着一种动态思维来审视这个指标，从而对于不同的场景我们应该有不同的处理策略。①数据量为千万级，可能达到亿级或者更高通常是一些数据流水，日志记录的业务，里面的数据随着时间...
2020-02-13 11:48:51
605
转载 MYSQL设计规范
参考文章：MySQL千万级大表优化1. 数据库改进方案：规范设计 业务层优化 架构层优化 数据库优化 管理优化黑格尔说：秩序是自由的第一条件。在分工协作的工作场景中尤其重要，否则团队之间互相牵制太多，问题多多。我想提到如下的几个规范，其实只是属于开发规范的一部分内容，可以作为参考。规范的本质不是解决问题，而是有效杜绝一些潜在问题，对于千万级大表要遵守的规范，我梳理了如...
2020-02-13 11:33:51
418
1
原创 TiDB和GreenPlum -- 总参
参考文章：了解TiDB基础入门Clickhouse,TiDB,Greenplum哪个更适合作为AWS redshift 的替代品?
2020-02-12 14:54:36
2446
转载 事件驱动架构 (Event-Driven Architecture，EDA) 简介
参考文章：事件驱动架构 (Event-Driven Architecture，EDA) 简介
2020-02-12 09:43:47
843
转载 CDH，HDP，Apache Hadoop之间的关系
参考文章：CDH，HDP，Apache Hadoop之间的关系一、综述目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。(http://www.apac...
2020-02-11 15:28:42
1434
转载 在 Cloudera Data Flow 上运行你的第一个 Flink 例子
参考文章：在 Cloudera Data Flow 上运行你的第一个 Flink 例子0727-6.3.0-在CDH上运行你的第一个Flink例子
2020-02-11 15:02:12
253
转载 CDH 是什么
参考文章：集群、全文检索、大数据（Hadoop）一、痛点一个产品的出现肯定是为了解决用户的痛点，在大数据领域，我们这些使用Hadoop、Hive、Hbase等的开发者来说就是其用户。如果使用原生的Apache Hadoop，在工作中我总结出了如下痛点（部分）：集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大 规模很大的集群下升级Hadoop版本很费时费力 需要自己保证...
2020-02-11 14:46:16
1224
转载 开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)
参考文章：开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO 郭炜 序现在大数据组件非常多，众说不一，在每个企业不同的使用场景里究竟应该使用哪个引擎呢？这是易观Spark实战营出品的开源Olap引擎测评报告，团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Gr...
2020-02-06 23:01:42
1425
1
转载 Spark与Flink对比
Spark缺点无论是 Spark Streaming还是 Structured Streaming,Spark流处理的实时性还不够,所以无法用在一些对实时性要求很高的流处理场景中。这是因为 Spark的流处理是基于所谓微批处理( Micro- batch processing)的思想,即它把流处理看作是批处理的一种特殊形式,每次接收到一个时间间隔的数据才会去处理,所以天生很难在实时性上有所...
2020-02-03 10:42:37
6805
转载 Flink的入门简介
参考文章:Flink（一）Flink的入门简介Flink（二）CentOS7.5搭建Flink1.6.1分布式集群Flink（三）Flink开发IDEA环境搭建与测试Flink百度百科Flink初探-为什么选择Flink一.Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，...
2020-02-03 10:05:29
391
gcc rpm安装包
2021-02-20
crontabs_pack
2021-02-20
initscripts.zip
2021-02-20
centos7.4 postgresql11-11.8 rpm 安装包
2020-11-14
service命令 安装包
2020-11-14
ImpalaJDBC42-2.6.17.1020.jar
2020-05-18
logstash-7.6.0.tar.gz
2020-02-23
logstash-7.6.0.rpm
2020-02-23
docker离线rpm包-use.rar
2019-10-30
elasticHD_darwin_amd64
2019-02-28
elasticHD_linux_amd64
2019-02-28
elasticHD_windows_amd64
2019-02-28
cdh-7.1.7, cm7.4.4离线安装包
2023-11-24
jdk-8u291-x64.rar
2021-05-10
net-tools-2.0-0.51.20160912git.el8.x86_64.rpm
2021-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人