- 博客(537)
- 资源 (8)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Kubenetes 入门安装1m1s安装
文章目录准备环境安装master & slave配置环境添加镜像关闭交换分区关闭selinux1. 安装软件2. 启动3. 启动Master4. 按照日志的提示操作5. 安装网络插件6. 安装node 假如集群(192.168.121.102)7. 检查集群运维监控平台1. 安装2. 创建用户3. 创建 token4. 网络代理5. 配置一下nodePort6. 访问问题解决kub...
2020-04-16 22:33:27
1172
原创 Docker Compose Encountered errors while bringing up the project.
[root@flinkhadoop es]# docker-compose up -dStarting es_elasticsearch_1 ... errorStarting es_kibana_1 ... Starting es_kibana_1 ... errorERROR: for es_kibana_1 Cannot start service ...
2020-04-16 22:28:11
7345
2
原创 K8S-镜像管理（安装harbor）
首先我现在我也不知道harbor是个什么东西？后面会知道的。先安装一下：Centos7.x 虚拟机下载https://github.com/goharbor/harbor/我这边下载的离线版本的安装查看版本[root@flinkhadoop harbor]# docker -vDocker version 1.13.1, build 7f2769b/1.13.1发现版本比较...
2020-04-15 20:01:10
2650
原创 回顾排序算法 快速排序及其应用
快排和求第k大数值为什么快排的复杂度有 logn，是因为他每次都是两个相互交换，所以是以2为底数。第k大数值： 确定k的落值范围，来判断是否需要排序。package com.company;import java.util.Arrays;public class Main { public static void main(String[] args) { ...
2020-04-09 22:56:47
189
原创 《Redis读书笔记》发布与订阅
发布与订阅在软件架构中，发布订阅是一种消息范式，消息的发送者（称为发布者）不会将消息直接发送给特定的接收者（称为订阅者）。而是将发布的消息分为不同的类别，无需了解哪些订阅者（如果有的话）可能存在。同样的，订阅者可以表达对一个或多个类别的兴趣，只接收感兴趣的消息，无需了解哪些发布者（如果有的话）存在。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MXVp4L3...
2020-04-09 19:27:10
146
原创 《Redis读书笔记》 持久化设计
持久化RDB持久化RDB 既可以手动执行，自动执行根据服务器配置选项定时执行，使用save配置save 900 1 // 900s 修改 1次save 300 10 // 300s 修改 10次save 60 10000 // 60 修改 10000次则会在满足以上条件任意一个，即会生成RDB文件2. RDB 文件是一个二进制文件，可以将当前内存中的数据生成这种类型的文件，当...
2020-04-09 19:25:51
169
原创 《Redis读书笔记》 服务器 客户端 设计
文章目录服务器服务器初始化初始化服务器状态结构载入配置项初始化服务器事后检查加载持久化数据执行事件循环服务器处理客户端请求定时处理数据结构客户端数据结构服务器Redis 服务器是典型的一对多服务器程序：一个服务器可以与多个客户端建立网络连接，每个客户端可以向服务器发送命令请求,而服务器接收并处理客户端发送的命令请求，并向客户端命令回复。那么问题来了，每个服务端可以维护多少个客户端连接？服...
2020-04-09 19:24:49
261
原创 《Redis读书笔记》 事件设计
文章目录事件文件事件文件事件处理器文件事件分派器连接应答处理器命令请求处理器命令回复处理器时间事件应用场景源码实现参考资料疑问事件文件事件Redis服务器通过套接字与客户端(或者其他Redis服务器)进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端（或者其它服务器）的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列的网络通信操作文件事件处理器文...
2020-04-09 18:58:40
190
原创 《Redis读书笔记》事务设计
文章目录事务demoredis-clijedisredssion应用场景实现思路ACID实现原子性一致性隔离性耐久性总结事务一个事务从开始到结束通常会经历以下三个阶段：事务开始命令入队事务执行demoredis-clidev-redis:6379> multiOKdev-redis:6379> set "a" "b"QUEUEDdev-redis:6379&...
2020-04-09 18:55:26
181
原创 Flink实战（十）Flink on Yarn模式
文章目录概述模式1 Yarn Per Job实践模式2 Yarn On Session实践参考资料概述FLink 如何执行在Yarn上面的呢？首先我们需要了解到Flink的底层执行流程，然后看哪一步与Yarn进行适配，执行。Flink底层执行流程：用户通过 DataStream API、DataSet API、SQL 和 Table API 编写 Flink 任务，它会生成一个J...
2020-04-02 21:59:33
2140
原创 Yarn集群搭建
原理搭建Yarn集群，首先要知道它的集群的原理，现在我有一台破机器，那么如何把它加入到我现在的yarn单机集群里面呢？我现在的部署模式是单机部署Yarn下面的执行逻辑如下：我只需要把我的破机器连接到原来的resourceManager就好了。配置假设现在node1已经部署好一套了，破机器node2需要加进来设置免密登录生成rsassh-keygen -t rsa -P ''...
2020-04-02 21:51:11
290
原创 Flink实战（九）Flink 开启历史服务器
今天突然发现所有作业的历史执行记录都没有了。所以找了一下flink的历史服务器怎么配置的。flink-conf.yaml配置task的存档目录# Directory to upload completed jobs to. Add this directory to the list of# monitored directories of the HistoryServer as w...
2020-03-08 21:22:30
1809
原创 ES 安装（内含国内镜像）
ES&Kibana 下载发现华为云有一个好用的国内镜像https://mirrors.huaweicloud.com/elasticsearch/6.8.5/https://mirrors.huaweicloud.com/kibana/6.8.5/安装ESsudo mv elasticsearch-6.8.3.tar.gz /opt/sudo tar -zxvf elasti...
2020-02-22 23:00:50
5667
原创 Spring循环依赖导致的Dubbo发布成功，但是服务实例却没有被增强过.
A、B循环依赖然后日志报错如下：2020-02-12 18:18:41.033 |-DEBUG [main] org.springframework.beans.factory.support.DefaultListableBeanFactory [247] -| Returning eagerly cached instance of singleton bean ‘tagServiceIm...
2020-02-12 18:27:00
391
原创 Flink 事件、水印、计算的关系
看了好久的对水印的介绍，总结出以下的关系。水印：用于衡量事件时间进度的机制为了解决乱序事件输出正确的结果。事件、水印、计算的关系生成触发事件水印窗口计算事件生成水印的策略（1）递增式的水印生成，适合递增的数据,如果有不递增的数据，那么会被认为坏数据处理（2）周期计算，每次生成通过-周期大小，比如设置的周期是10s，那么2020-01-20 11:20:20 对应的水印是 2...
2020-01-27 17:48:34
411
原创 想想过去设计的灵活的系统 --- 一个灵活的工具人
之前想着，灵活的系统就是适用所有的场景。无论什么场景都能支持。所以就设计了支持所有指标的指标开发平台支持所有档案管理的管理平台支持所有图表开发的BI工具但是现在想想思路是没有错的，但是却忽略了一个社会规则。“存在就是合理的”本来是个很复杂的社会，非要想着把所有的都整齐划一，这个事情我就不评论了。说回来，既然要灵活，那就要支持很多规则那样现在就有一个问题了，如何支持呢？？？抽象...
2020-01-13 22:01:29
269
原创 Netty Boss线程是为什么都是写1
文章目录Netty Boss线程是为什么都是写1中间件使用Dubbo中的使用方法：NettyServer#doOpenRxServer 的使用方法为什么呢？总结Netty Boss线程是为什么都是写1先来看看常见的中间件、框架的使用方式。中间件使用Dubbo中的使用方法：NettyServer#doOpenbossGroup = new NioEventLoopGroup(1, new ...
2020-01-11 10:16:06
2655
1
原创 Sentinel入门（一） Sentinel在Dubbo的实现
文章目录DemoDubbo Consumer Sentinal FilterDubbo Provider SentinalSentinel实现原理DemoConsumer.javapublic static void main(String[] args) { FlowRule flowRule = new FlowRule(); flowRule.setResource( ...
2020-01-08 00:01:34
1504
1
原创 《Redis读书笔记》 事件设计
事件文件事件Redis服务器通过套接字与客户端(或者其他Redis服务器)进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端（或者其它服务器）的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列的网络通信操作文件事件处理器文件事件处理器使用I/O多路复用程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字，并根据套接字目前执行的任务来为套接...
2019-12-14 18:30:30
183
原创 Spring Framework（十四）Spring Framework 获取 Bean 之 一探究竟
GetBeanByClass public <T> T getBean(Class<T> requiredType, Object... args) throws BeansException { // 1. 解析为namedBean NamedBeanHolder<T> namedBean = resolveNamedBean(required...
2019-12-08 21:23:16
418
原创 CAS 和 Sychronized的在CPU密集计算情况下的博弈
很多时候听到使用CAS很优秀。。。但是CAS是银弹吗？从实现角度上，sychronized当线程获得不到锁的时候把线程挂起，而CAS不会挂起，而是继续重试。比如下面的一个场景i++ 的场景，以下代码是AtomicInteger的i++源码 public final int getAndIncrement() { return unsafe.getAndAddInt(th...
2019-12-07 19:50:08
207
原创 Mysql InnoDB 的 隔离级别的实现
InnoDB 的 隔离级别的实现InnoDB使用不同的锁定策略支持此处描述的每个事务隔离级别。事务隔离是数据库处理的基础之一。隔离是缩写ACID中的I；隔离级别是一种设置，用于在多个事务同时进行更改和执行查询时微调性能与结果的可靠性，一致性和可重复性之间的平衡。您可以在默认的REPEATABLE READ级别上实现高度的一致性，以实现对重要数据的操作（其中ACID遵从性很重要）。...
2019-12-01 23:02:56
230
原创 MySql 的锁
InnoDB 的锁Shared and Exclusive Locks Intention Locks Record Locks Gap Locks Next-Key Locks Insert Intention Locks AUTO-INC LocksShared and Exclusive Locks / Intention Locks ...
2019-12-01 22:57:47
193
原创 Oracle ACID 实现机制
REDO UNDO日志模拟事务原子性：原子性指的就是事务里面的所有操作要么全部成功，要么全部失败。所以我们如果执行到一半的情况下发现了其中的操作进行失败了，这个时候我们应该把前面执行成功的一半记录进行还原。这个有点难啊？覆水怎么还可以收回呢？现在抖音上面就可以做到，是怎么的做到的呢？那就是时间回流？只要我们记录下面开始操作的状态，就可以进行回滚，这个就是上面里面的undo日志，在事务回滚...
2019-11-30 21:14:04
714
原创 BeanUtils.copyProperties 导致的 ClassCastException
static class Foo { private List<String> list; public List<String> getList() { return list; } public void setList(List<String> list) { ...
2019-11-28 22:11:44
1429
2
原创 最近总结出来的一个素质N连方法论
1. 你的应用场景是什么？确定需求2. 你是怎么用的？可以看出这个问题的解决方案。3. 解决了你的应用场景的什么问题？可以看出对应用场景是否真正的理解。4. 相比于其它的有什么优势？可以看出是否举一反三了。5. 有没有带来新的问题。是否可以审视自己遇到的问题，或者对当前的技术方案是否有深入的思考。...
2019-11-25 21:54:36
340
原创 Mybatis 源码解析(七) Mybatis二级缓存
mybatis 二级缓存MyBatis 内置了一个强大的事务性查询缓存机制，它可以非常方便地配置和定制。默认情况下，Mybatis只启用了本地的会话缓存，它仅仅对一个会话中(SqlSession)的数据进行缓存。如果要启用全局的二级缓存（Mapper namespace级别的），只需要在Mapper.xml文件中添加一行：<cache/>基本上就是这样。这个简单语句的效果如...
2019-11-24 21:33:02
192
原创 Mybatis 源码解析(六) Mybatis方言支持
背景现实中，我们经常会遇到使用oracle、mysql的客户，那么我们一般就需要工程同时支持这两种数据库。所以我们需要mybatis对方言进行支持，可以根据不同的数据源执行不同的sql语句。实现MyBatis 可以根据不同的数据库厂商执行不同的语句，这种多厂商的支持是基于映射语句中的 databaseId 属性。比如<select id="selectByExample" dat...
2019-11-18 22:50:24
7993
原创 Mybatis 源码解析(五) 从SELETE语句理解Mybatis执行全流程
背景对于我们经常写的SQL代码，我们经常会写到select * from tb_user不知道大家还记不记得使用jdbc接口时候的场景。public static void main(String[] args) { String driver = "com.mysql.jdbc.Driver"; String url = "jdbc:mysql://19...
2019-11-17 21:58:53
345
原创 Mybatis 源码解析(四) Mybatis 拦截器实现与解析
首先从代码包里面看到有一个org.apache.ibatis.plugins的包，猜想就是这里可以进行扩展了，可以看到刚好有Interceptor这个扩展点，那就先从Interceptor入手。无论实在JavaWeb当中的Filter，还是在Spring里面的HandlerInterceptor都可以或多或少的知道这个责任链模式，如果没有相关知识储备的，请自行查阅。我们在这里可以看到有一个I...
2019-11-17 15:23:30
288
原创 Spring Framework（十三）Spring Framework 自动注入Resource[]
今天主要说明一下这两天遇到的两个问题自动注入Resource是如何实现的？使用自动注入List<Resource>为空，但是Resource[]确是ok的？使用方式如下图所示 @Value("classpath*:xxx/*_xxx.json") private Resource[] resourceList;首先我们详细了解一下自动注入的Resource...
2019-11-14 20:16:19
256
原创 Flink实战（八）Flink 使用 Kafka Source & Kafka Sink
FlinkKafkaConnector该连接器提供对Apache Kafka服务的事件流的访问。Flink提供了特殊的Kafka连接器，用于从Kafka主题读写数据。 Flink Kafka Consumer与Flink的检查点机制集成在一起，以提供有且仅有一次的语义。为此，Flink不仅仅依赖于Kafka的消费者群体偏移量跟踪，还内部跟踪和检查这些偏移量。开发流程接一下以一个示例配置来介...
2019-10-20 17:53:51
7816
原创 Flink实战(七) Streaming（DataStreaming） 总览
文章目录Flink DataStream API Programming Guide示例程序数据源 Data Sources基于文件的基于Socket的自定义数据转换 （DataStream Transformations）数据接收器 Data Sinks写入文件终端打印写入Socket自定义接收器Iterations 迭代Execution ParametersFault Tolerance 容...
2019-10-20 09:32:34
1341
原创 Flink实战(六）Flink读取Hdfs文件
接一下以一个示例配置来介绍一下如何以Flink连接HDFS1. 依赖HDFSpom.xml 添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-hadoop-compatibility_2.11</artifactId> &...
2019-10-11 21:39:46
22967
1
原创 Flink实战(五) Batch（DataSet） 运算的相关概念
文章目录1. 示例程序2. 转换函数3. 数据源配置CSV解析规则递归读取输入路径目录读取压缩文件4. 数据输出 （Sink）5. 迭代操作Bulk Iterations（**批量迭代**）Delta Iterations（**增量迭代**）在函数中操作数据对象Object-Reuse Disabled (DEFAULT)Object-Reuse EnabledDebuggingLocal Exe...
2019-09-22 17:03:36
1275
原创 Flink实战(四) Flink 基本概念
文章目录1. DataSet and DataStream2. 剖析 Flink程序3. 延迟计算4. key 的 定义方式定义元组的key使用字段表达式定义key使用KeySelector 定义Key5. 转换函数Implementing an interfaceAnonymous classesJava 8 LambdasRich functions6. 支持的数据类型7 累加器&计数...
2019-09-22 16:54:48
519
原创 Flink实战（三）开发过程中将程序提交到集群中执行
主要配置使用 createRemoteEnvironment（）方法即可 // 配置服务地址与当前jar所在路径 final ExecutionEnvironment env = ExecutionEnvironment.createRemoteEnvironment("localhost", 8081, "D:\\01code\\personal\\flink\...
2019-09-22 16:50:33
1261
istio-1.7.0-linux-amd64.tar.gz
2020-08-23
mysql连接数据库打包为jar包所需
2015-04-15
mybatis 子查询多个条件 ？
2016-12-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人