- 博客(674)
- 资源 (2)
- 问答 (8)
- 收藏
- 关注
RSS订阅原创 Linux常用命令
搜索 文件搜索 命令locate,按文件名搜索后台数据库（一天更新一次的/var/lib/mlocate目录下,用updatedb强制更新） locate file-name updatedb find文件搜索，find [搜索范围][搜索文件] 搜索范围广，压力大，避免大范围搜索 ...
2020-03-14 20:39:36
140
原创 mysql数据库优化
目的必要且重要优化：sql及索引工具 mysqldumpslow 查询慢日志，信息比较少pt-query-digest 时间稍长，分析比较详细，次数 占百分比 查多少行 使用行数 ……慢日志：pt-query-digest注意rows examine找到慢日志用explain分析type：const eq_ref ref range index all子查...
2020-03-14 20:39:02
158
转载 sql分析优化利器
算是一个工具，需要下载的，原博客写的很好（要不然我也不再转）链接贴在这里https://www.jianshu.com/p/cb2be017d5a9不再提炼了，主要是对日志、现有资源的分析给出建议...
2020-03-05 19:41:13
145
2
原创 ScheduledExecutorService
public interface ScheduledExecutorService extends ExecutorService基于多线程，任务间不会互相影响内部使用延迟队列，本身基于等待/唤醒机制创建：1、public static ScheduledExecutorService newScheduledThreadPool(int corePoolSize)创建线程池，参...
2020-03-01 10:29:59
951
原创 hive
是什么 基于hadoop的数据仓库分析技术，可将结构化数据文件映射为数据库表，提供完整sql查询 使用HiveQL做查询接口，关系型数据库储存元数据，mapreduce作为执行层，HDFS作为储存底层通用户接口传入数据，元数据放关系型数据库，读写数据放入HDFS，通过driver将query转MR Job且完成相应任务，最后将结果反馈用户 用户接口CLI、clien...
2020-02-15 21:20:20
150
原创 转：JUnit+Mockito单元测试
今天查东西看到了这两篇文章，感觉不错，转载一下：https://blog.csdn.net/moshowgame/article/details/100983711https://blog.csdn.net/zhangxin09/article/details/42422643本来想自己提炼、摘抄一下，但是没有必要，放到这里算是分享吧下面这张图貌似太大了，主要是昨天朋友圈突然异军突...
2020-02-15 21:19:43
139
原创 protobuf
ProtoBuf是何方神圣？她是序列化结构数据的方法，看官可能要问了，这序列化数据结构的方法有很多，这个protobuf来凑什么热闹，大家注意啊，我们的protobuf可是 和语言无关（支持java C++ python等）、平台无关、可以扩展、灵活高效，拥有自动化机制的序列化数据结构的function，那分分钟实现更小、更快、更易的三大方针五大纲领，她呀可以用在储存、通信等方面，兼...
2020-02-04 22:59:25
313
1
原创 extract-transform-load
ETL将数据经过抽取extract、转换transform、加载load 到数据仓库数据清洗转换： 清洗：即过滤，过滤什么呐？肯定不能把好的、符合要求的数据滤掉，过滤完不符合要求的数据后，交给相关部分确认是否对对口再接着往下抽取 那什么是不符合要求的数据： 不完整：应该有的你没有，那怎么能行，补上！ ...
2020-02-04 00:02:53
723
原创 19这一年
年终总结吧： 总的来说，这一年考验自己的同时也意识到人的潜力无穷，总有需要努力的地方，总有够不到的地方；这一年确实在技术上收获了很多：遇到一个不错的技术团队，公司庞大的用户量也给我们提供了一个很大的舞台，悲观的同时也积极着，心乱了许久也应该脚踏实地、踏踏实实挣钱 呸~ 学技术 自我提高了。这一年，博客更新慢了许多的我、干嘛了呢？微信读书——47本，其中杂七杂八，在朋友圈也算...
2020-01-03 10:46:14
271
3
原创 redis的set锁
平常用的是setnx然后再expire，分两步走再高并发各种线上问题上难免会有问题，so用set(key, value, n*, expx, time）判断其返回值是否为OKSET key value [EX seconds] [PX milliseconds] [NX|XX]EX 过期时间单位为秒，SET key value EX second 效果等于SETEX key second...
2019-12-04 10:40:46
1208
原创 mock测试
像我这种后来者基本也就是网络的搬运工了，不过即便是这个角色我做的也不是很好，为了挽回什么 ，今天写三个链接：PowerMock+Mockito+MockMvc实现Controller,Service,Mapper全覆盖测试https://blog.csdn.net/zymantou/article/details/53005208Mockito和PowerMockito的使用h...
2019-11-28 11:26:44
117
原创 MapStruct
之前写的文章现在都看不上了，为了提高点博客的质量还是写一点东西吧先说一下：注解处理器编译时自动运行注解处理器，扫描 编译 和处理注解，可自定义；以java代码或字节码作为输入，生成文件(java代码)，通过反射调用新生成的文件中的类或方法，jvm编译继承abstractProcessor，重写方法：init(ProcessingEnvironment processingEnv...
2019-10-17 11:06:05
300
原创 ShardingSphere部分（上）
数据分片：按某个维度将存放在单一数据库中的数据分散存放到多个库或表中，提升性能瓶颈及可用性 有效手段：对关系型数据库分库分表：避免数据量超过可承受阈值产生查询瓶颈 分库：有效分散对数据库单点的访问量 分表：尽量将分布式事务转化为本地事务的可能垂直拆分：按照业务拆分，纵向拆分：专库专用；无法真正解决单点瓶颈，可缓解数...
2019-08-22 10:19:26
1761
3
原创 Databus
今天发现了Databus，恕我愚钝，目前感觉这个东西比canal更胜一筹，为什么呐？ 博客:https://www.cnblogs.com/xunshao/p/9762377.html—— 看完留下我无知的感叹：Databus好厉害呀！我的妈呀、用它 O(∩_∩)O哈哈~ 抖音洗脑了，应该是各有长处的，这里丫头我就不做店评了，确实还不(hen)够(nian)格(qing...
2019-06-23 16:59:47
3049
6
原创 redission
https://github.com/redisson/redisson/wikihttps://www.jianshu.com/p/6f7d6a1c3bc2分布式锁：java编写支持redis cluster，master-slave，redis哨兵和redis单机上面的wiki很丰富了，请看两遍，谢谢...
2019-05-30 20:59:28
572
2
原创 Java常用方法--集
活这么长时间，突然间意识到这个世界上最笨的方法便是我的捷径！看到电脑上丁一给我的背景图——Wuli乔妹，笑起来很美丽，就像我们丁一一样善良、热心肠世界上有许多想离开的时刻，但是因为那些人、那些记忆，你留了下来、没有离开进入主题：写这篇是有原因的，我不说你不知道，还是进入主题吧String：StringBuffer：字符串增删改前后缀：startsWith(String...
2019-05-09 22:59:53
337
2
转载 hive初识
联机分析OLAPhttps://www.cnblogs.com/qingyunzong/p/8707885.html系列博客Hive将HQL转换成MapReduce执行，实质是基于HDFS的MapReduce计算框架，对存储在HDFS的数据分析管理优点：可自由扩展集群规模，不需要重启； 横向扩展：分担压力方式扩展集群规模 纵向：硬件，一台服务器cpu...
2019-03-28 22:25:25
195
3
转载 canal详解
EventParser WorkFlowEventStore负责存储解析后的Binlog事件，而解析动作负责拉取Binlog，它的流程比较复杂。需要和MetaManager进行交互。比如要记录每次拉取的Position，这样下一次就可以从上一次的最后一个位置继续拉取。所以MetaManager应该是有状态的。EventParser的流程如下：Connection获取上一次解析成功的...
2019-03-28 21:06:22
589
1
转载 Hive-百度百科
hive基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张数据库表，提供简单的sql查询功能，将sql语句转换为MapReduce任务进行运行，可通过类SQL语句HQL快速实现简单的MapReduce统计，十分适合数据仓库的统计分析； Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive 并不能够在大规模数据集上实...
2019-03-28 21:03:52
499
2
转载 kafka入坑
kafka之前好像写过，如果没写的话便是之前接触过，哈哈 已经用kafka实现了几个小功能，不过还是实实在在领会精华才好；提前说好，这篇当然非原创，各处copy而来，不过也融入了在下的心血，所以厚着脸皮写原创； kafka是消息中间件的一种，用于构建实时数据管道和流应用程序。具有横向扩展，容错，wicked fast（变态快像canal一样）等优点； 先说说分布式这个...
2019-03-18 19:52:20
301
2
转载 canal详解
CanalServerWithEmbedded含多个instance，成员变量canalInstances记录了instance名称与实例映射关系同server不出现相同的instance名称：Map结构public class CanalServerWithEmbedded extends AbstractCanalLifeCycle implements CanalServer,...
2019-03-09 17:47:37
2532
原创 canal基于数据库的日志解析
阿里巴巴mysql数据库binlog的增量订阅&消费组件背景： 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。m...
2019-03-07 20:07:16
1072
1
原创 Guns和iView简单介绍
Guns基于SpringBoot 2，致力于做更简洁的后台管理系统。Guns项目代码简洁，注释丰富，上手容易，同时Guns包含许多基础模块(用户管理，角色管理，部门管理，字典管理等10个模块)，可以直接作为一个后台管理系统的脚手架! Guns官方交流群：254550081(满) 684163663(满) 207434260 iView特性 高质量、功能丰富 ...
2019-02-25 22:17:43
705
4
原创 ES与spring boot集成 杂烩
主要是摘抄其他博客，汇成此篇，主要是担心自己忘了 做些笔记和链接首先推荐《ElasticsearchTemplate的详细使用，完成多条件查询、匹配度查询等》写的很好，图看不到的请点击查看https://blog.csdn.net/tianyaleixiaowu/article/details/76149547《ElasticSearchRepository和ElasticSearchTe...
2019-02-12 16:31:13
421
5
原创 OkHttp和RxJava 2.x
OkHttp高效的请求效率,且节省宽带， 提供了很多开箱即用的网络疑难杂症解决方案支持HTTP/2, HTTP/2通过使用多路复用技术在一个单独的TCP连接上支持并发, 通过在一个连接上一次性发送多个请求来发送或接收数据 如果HTTP/2不可用, 连接池减少请求延迟 支持GZIP, 可以压缩下载体积 响应缓存可以避免重复请求网络 会从很多常用的连接问题中自动恢复，如果您的服务器配置了多...
2019-01-29 15:46:04
853
3
原创 OKio与Retrofit
OKio 轻量级IO框架，结合java.io和java.nio，提供阻塞IO和非阻塞IO的功能，对缓存等底层结构做了优化，核心的代码大约5000行 最基本的接口Sink、Source，基础IO操作， BufferedSink和BufferedSource接口分别继承自Sink和Source，扩展了读写功能，定义了各式各样的读和写。 Buffer（可读、可...
2019-01-29 11:52:47
353
1
原创 大杂烩
Resource+Autowired Autowired按byType自动注入 Resource按byName，name解析为beanName 同时指定name和type，找到唯一匹配的bean装配 都无指定，byName装配，无、回退为一原始类型匹配 i:在字段上，去字段名查找 i:setter方法上，去属性名装配...
2019-01-27 11:31:17
219
1
转载 clickhouse之bit hash
bit 位函数可用于UInt8、UInt16、UInt32、UInt64、Int8、Int16、Int32、Int64、Float32或Float64中的任何类型对 结果类型是一个整数，其位等于其参数的最大位。如果至少有一个参数是有符号的，那么结果就是一个有符号的数字。如果参数是浮点数，则将其强制转换为Int64。bitAnd（a,b）/ bitOr(a,b) bitXor(a,...
2019-01-24 15:41:55
1872
2
转载 clickhouse之函数（二）数组
arrayarrayElement(arr, n), operator arr[n] 从array中获取索引为n的元素，索引从1开始，支持负数，-1指最后一位；索引超过大小返回类型的默认值has(arr, elem) arr中是否有elem元素，0无1有hasAll(set, subset) 检查arr是否是另一个arr的子集；0无1有，空arr是如何a...
2019-01-24 15:32:19
30923
7
转载 clickhouse之函数（一·）
时间与日期SELECT toDateTime('2016-06-15 23:00:00') AS time, toDate(time) AS date_local, toDate(time, 'Asia/Yekaterinburg') AS date_yekat, toString(time, 'US/Samoa') AS time_samoa┌──────...
2019-01-24 12:26:57
12198
12
转载 clickhouse之前提查询
attach类create，but不在硬盘上创建表，假设表已经存在只是向服务添加表的说明，执行之后，服务将知道表的存在ATTACH TABLE [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]在启动服务器时使用，服务器将表元数据视为文件保存 check table1、检查表中的数据是否被破坏，对比文件实际大小与服务器上存储的期...
2019-01-23 20:20:58
3072
3
转载 clickhouse之alter
仅支持*MergeTree 、 Merge及Distributed表 改变表结构：ALTER TABLE [db].name [ON CLUSTER cluster] ADD|DROP|MODIFY COLUMN ...添加列ADD COLUMN name [type] [default_expr] [AFTER name_after] 如指定after name_a...
2019-01-23 18:53:25
18753
1
原创 java之本周、上周、开始、结束时间
前言： 近日在这里跌了好几次，博客写下来、祭奠失去的这几日；参考了几个博客、原地址忘记了，路过留言 、偶会加上package com.rcplatform.livechat.util;import org.springframework.stereotype.Component;import java.text.ParseException;import java.text....
2019-01-23 17:26:43
2904
4
转载 clickhouse之create
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2], ...) ENGINE = engi...
2019-01-23 16:59:17
5518
1
转载 clickhouse之insert into
insertINSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ...插入时指定列，其他的列，将 1、如存在default表达式，根据default表达式计算被填充的值 2、不存在，填充零或空字符串如strict_insert_defaults=1，须在查询中...
2019-01-23 16:01:38
21408
2
转载 clickHouse之SQL语法之select（二）
limit n by可含任意多个分组字段表达式列表，与limit无关系，limit n by columns可用在每个columns分组中求最大的n行数据为每个domain, device_type的组合选出前5个访问最多的数据，但是结果最多将不超过100行（LIMIT n BY + LIMIT）SELECT domainWithoutWWW(URL) AS domain, ...
2019-01-23 15:43:47
13772
4
转载 clickHouse之SQL语法之select（—）
selectSELECT [DISTINCT] expr_list [FROM [db.]table | (subquery) | table_function] [FINAL] [SAMPLE sample_coeff] [ARRAY JOIN ...] [GLOBAL] ANY|ALL INNER|LEFT JOIN (subquery)|table US...
2019-01-22 20:14:49
25006
1
原创 clickhouse实时数据分析数据库
遨游在公司的技术里，有些兴奋、有些惶恐一、基础知识 列式数据库管理系统：columnar DBMS、联机分析处理OLAPhttp://www.clickhouse.com.cn/api社区https://www.csdn.net/article/2018-01-14/2826786-ClickHousehttps://www.jianshu.com/p/8633ae4...
2019-01-18 15:06:31
7792
6
转载 你真的了解事务吗？
事务：同一个事务中的操作是一个工作单元 SSIS:SQL Server集成服务（SQL Server Integration Services） 默认支持Task组件级别的事务https://blog.csdn.net/nginxs/article/details/77314199单个Task组件的事务处理： Execute SQL Task：该组件中执行TSQ...
2018-12-20 23:36:47
201
7
ELK6.1.2,filebeat及es的常用head和ik插件
2018-04-03
Highcharts
2017-03-05
连接阿里云数据库RDS失败，想选40C币 没有那么多了，请大家帮帮忙，急
2018-06-16
springboot项目controller注入失败，空指针；单元测试没有问题
2018-06-15
service层判断返回值是否为空，空的话返回一个=null的model，不为空的话
2017-08-22
服务用jenkins构建之后注册不上dubbo，url访问500，重启tomca问题解决
2017-08-22
JAVA用SSH框架，Source not found for OrderService
2017-03-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人