- 博客(79)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 mysql 对 GENERATED 字段更新时候报错
在MySQL中，由于GENERATED字段是动态生成的，不能进行直接的更新操作，需要通过修改生成规则来修改字段的值。导致整个原因是想添加一个字段的同时设置它的默认值为另一个字段的值导致的。
2023-04-19 11:13:02
1668
原创 目前无法使你登录 Microsoft Edge 团队已通知此问题。请稍后再试。 错误代码：3、15、1067
Microsoft Edge 登录问题
2022-01-05 22:53:03
20623
4
原创 什么是Flink端到端状态一致性
一般我们看到的一致性保证都是由流处理器实现的, 也就是Flink内部的一致性是靠checkpoint实现的, 是有保证的; 而在实际的应用中, 流处理应用除了流处理器以外, 还包含了数据源(例如Kafka)和输出到持久化系统 端到端的一致性保证, 意味着结果的正确性贯穿了整个流处理应用的始终; 每一个组件都保证了它自己的一致性 整个端到端的一致性级别取决于所有组件中一致性最弱的组件...
2021-07-20 20:55:15
193
1
原创 Flink检查点的实现算法
检查点分界线FLink的检查点算法用到了一种称为分界线(barrier)的特殊数据形式, 用来把一条流上数据按照不同的检查点分开分界线之前到来的数据导致的状态更改, 都会被包含在当前分界线所属的检查点中; 而基于分界线之后的数据导致的所有更改, 就会被包含在之后的检查点中检查点运行过程1, JobManager会向每个source任务发送一条带有新检查点ID的消息, 通过这种方式来启动检查点(比如有两个source现在source-1处理到2了, source-2处理到3了, 这个时候sour
2021-07-14 22:40:01
274
1
原创 Flink状态后端
MemoryStateBackend内存级的状态后端, 状态保存在TaskManager的JVM堆上, 而将checkpoint存储在JobManager的内存中特点: 快速, 但是不稳定, 节点挂了就没了, 受内存大小限制, 一般用于本地和测试环境测试FsStateBackend将checkpoint存到远程的持久化文件系统(FileSystem)上, 而对于本地状态, 跟MemoryStateBackend一样, 也会存在TaskManager的JVM堆上同时拥有内存级的本地访问速度
2021-07-12 21:54:59
94
翻译 1.2. Container Overview
The org.springframework.context.ApplicationContext interface represents the Spring IoC container and is responsible for instantiating, configuring, and assembling the beans. ApplicationContext接口作为Spring IoC容器的体现, 负责实例化,配置和组装所有的bean对象The container gets it
2021-07-08 21:41:43
158
翻译 1.1. Introduction to the Spring IoC Container and Beans
This chapter covers the Spring Framework implementation of the Inversion of Control (IoC) principle. (See Inversion of Control.)这一章节介绍Spring框架关于IoC的实现IoC is also known as dependency injection (DI). IoC也称为依赖注入(DI) 译者注: 感觉通过依赖注入的方式实现IoC更加贴切It is a proc
2021-07-08 21:29:35
148
翻译 1. The IoC Container
This chapter covers Spring’s Inversion of Control (IoC) container.这一章节介绍Spring的IoC容器1.1. Introduction to the Spring IoC Container and Beans1.2. Container Overview1.3. Bean Overview1.4. Dependencies1.5. Bean Scopes1.6. Customizing the Nature o
2021-07-08 21:27:36
142
翻译 Core Technologies
This part of the reference documentation covers all the technologies that are absolutely integral to the Spring Framework. core这一部分的参考文档, 完全涵盖了Spring框架必不可少的技术.Foremost amongst these is the Spring Framework’s Inversion of Control (IoC) container.在这些技术
2021-07-08 21:25:11
167
原创 Flink中WaterMark的传递
一般情况下, Watermark 是 source task 产生，不是source task也是靠近source task的map或reduce等算子产生的, 然后通过keyby 分组后触发窗口计算。注意keyby只是一个分配的过程而不是一个算子, 只有开窗之后的窗口方法才是真正的计算先放上结论, 然后再结合下面图示理解① Watermark 要单调递增。② Watermark在keyby之后的window操作之后取最小值向后传递。作者：熊本极客链接：https://www.jians..
2021-07-07 23:01:31
1277
7
原创 Flink中的状态
一, 什么是Flink的状态 State每个算子在运行的过程当中会维护自己的某些临时数据, 比如获取流中的最小值, 肯定是需要维护当前的流到哪个数据了, 以及目前最小的值是什么, 方便比与下一个数据进行比较, 而这些临时数据是放在内存中的, 可以理解状态就是算子维护的本地变量, 而且状态始终与特定算子相关联二, Flink状态的类型1,Operator State算子状态的作用范围限定为算子任务算子状态数据结构列表状态(List state): 将状态表示为一组数据的...
2021-07-06 23:01:08
922
1
原创 Flink滚动窗口起始偏移量如何确定
怎样知道FLink设置的滚动时间窗口起始的第一个时间是从哪里开始计算呢比如下图timeWindow是15秒, 但是是从哪个15秒呢往下看, timeWindow方法如下由于我设置的是EventTime时间语义,所以看TumblingEventTimeWindows上面的是TumblingEventTimeWindows中 分配窗口的方法, 真相就在这出发 看到start变量没有进入 getWindowStartWithOffset 方法得知运算 初始值的算法...
2021-07-05 23:15:50
450
2
转载 BeanDefinition官方解释
A Spring IoC container manages one or more beans. These beans are created with the configuration metadata that you supply to the container (for example, in the form of XML<bean/>definitions).Within the container itself, these bean definitions are..
2021-07-05 10:27:46
125
原创 ArrayList的elementData数组是怎样序列化的
序列化、反序列化和transient关键字__Mr. White的博客-CSDN博客
2021-07-03 14:58:21
320
转载 序列化、反序列化和transient关键字
转载地址:序列化、反序列化和transient关键字的作用 - duanxz - 博客园 (cnblogs.com)目录序列化 ID 问题静态变量序列化父类的序列化与 Transient 关键字对敏感字段加密序列化存储规则默认序列化手动指定序列化过程 重点!!!我们自己写的writeObject和readObject为什么会被调用？复杂序列化情况总结序列化 ID 问题情境：两个客户端 A 和 B 试图通过网络传递对象数据，A 端将对象 C 序列...
2021-07-03 14:55:23
585
1
原创 ES 搜索高亮
Elasticsearch默认会用<em></em>标签标记关键字, 其实我们可以自定义标签自定义搜索高亮自定义strong标签GET books/_search{ "query": { "match": { "title": "javascript" } }, "highlight": { "fields": { "title": { "pre_tags": ["<strong>
2021-07-02 10:38:52
409
原创 ES 特殊查询
script query脚本查询GET books/_search{ "query": { "bool": { "must": [ { "script": { "script": "doc['price'].value>80" } } ] } }}查询含义: 查找字段price值大于80的文档查询结果:...
2021-07-02 10:02:53
114
原创 The configuration of the pool is sealed once started. Use HikariConfigMXBean for runtime changes
报错:背景: 使用Apollo最为配置中心, Apollo客户端会定时拉取最新配置进行刷新配置, 但是我的项目中引入Hikari 数据库连接池, 于是在Apollo刷新的时候出现一连串的报错这样这样org.springframework.boot.context.properties.bind.BindException: Failed to bind properties under '' to javax.sql.DataSource根本原因还是...
2021-07-01 17:19:47
3429
3
原创 Flink WaterMark的原理和特点
watermark: 中文翻译为水位线可以理解为, 当达到这个水位线就要关闭窗口了, 关闭什么窗口呢?这里要引出与watermark搭配使用的 EventTime Window了, 这个事件时间窗口比如现在有一个Flink Stream 流如图, 我们正常不使用water mark时, 使用event time控制的话, 如果窗口为5秒(左闭右开小于五秒的数据放入一个桶), 那么数据按照顺序正常来还好, 如果数据是乱序, 就像图中, 1秒的数据 4秒的数据, 后面就是5秒...
2021-06-30 22:44:29
235
2
原创 ES 位置查询之geo_point
创建语句PUT geo{ "mappings": { "properties": { "name":{ "type": "keyword" }, "location":{ "type": "geo_point" } } }}其中 location字段的分词器类型为 geo_point, 这样就可以对地理相关的的数据进行操作, geo是地理的geographic单词缩写, 当为这个类型时数据格
2021-06-30 19:35:30
3154
原创 ES 词项搜索
terms queryterms查询是term查询的升级，可以用来查询文档中包含多个词的文档GET books/_search{ "query": { "terms": { "title": [ "java","python" ] } }}range queryrange查询用于匹配在某一范围内的数值型、日期类型或者字符串型字段的文档GET books/_search{ "query": { "ran.
2021-06-30 16:20:00
170
原创 Flink时间语义
Event Time: 事件创建的时间, 每一条数据在它发生地产生的时间Ingestion(摄入) Time: 数据进入Flink(data source)的时间Processing Time: 执行操作算子的本地系统时间, 与机器下相关, 这个才是window算子执行的时间...
2021-06-29 22:15:58
524
1
原创 ES match query
使用term query的弊端GET books/_search{ "query": { "term": { "title": { "value": "java编程" } } }}term query是完全匹配目标内容分词后的词项, 由于所有文档的title进行分词后都没有 ‘java编程’ 这个分词这个时候就需要使用 match query使用match queryGET books/_search{ "query":
2021-06-29 21:05:15
2589
原创 ES Term-Query使用
词项搜索term查询用来查找指定字段中包含给定单词的文档，term查询不被解析，只有查询词和文档中的词精确匹配才会被搜索到，应用场景为查询人名、地名等需要精准配备的需求。GET books/_search{ "query": { "term": { "title": { "value": "思想" } } }}返回部分字段GET books/_search{ "_source": ["title","price"], "
2021-06-29 10:32:44
2127
原创 ES使用json文件批量生成数据(可用)
json文件数据{"index":{ "_index": "books", "_id": "1" }}{"id":"1", "title":"Java编程思想", "language":"java", "author":"BruceEckel", "price":70.20, "publish_time":"2007-10-01", "description":"Java学习必读经典，殿堂级著作！赢得了全球程序员的广泛赞誉。"}{"index":{ "_index": "books","_id": "
2021-06-28 19:35:19
522
原创 The bulk request must be terminated by a newline [\\n]
解决办法:最后一行, 敲一个空格
2021-06-28 19:33:09
2340
1
原创 使用curl创建ES索引
curl -X PUT http://localhost:9200/baifan{"acknowledged":true,"shards_acknowledged":true,"index":"baifan"}
2021-06-28 11:02:22
2939
原创 计算机 存储体 存储单元 存储元 存储字 存储字长的联系
主存储器由许多存储单元组成, 每个存储单元包括多个存储元, 每个存储元存储一位二进制代码"0"或"1", 故而存储单元可存储一串二进制代码,如下图中红色的 10100101, 这串代码称为存储字, 这串代码的位数称为存储字长, 存储字长一般为一个字节(8bit)或字节的偶数倍, 许多存储单元共同构成了一个存储体.简单的表示如下:主存储器=存储体存储体的组成是多个存储单元一个存储单元存储的内容为存储字 10100101存储字的长度(单位bit)为存储字长, 一般为8bit存储单元的组成是多个
2021-06-24 15:29:51
8614
1
原创 上传文件太大报错问题
一, Nginx上传文件太大报错解决办法:在http段添加 client_max_body_size 字段另外也可以在 server段里面, 也可以在location段中添加, 只是一级覆盖以及二, springboot 上传文件报错org.springframework.web.multipart.MaxUploadSizeExceededException: Maximum upload size exceeded; nested exception is java.lang.Illega
2021-06-22 14:10:32
501
原创 windows运行FLINK出现 FLINK_CONF_DIR问题
运行Flink报错:The configuration directory was not specified. Please specify the directory containing the configuration file through the ‘FLINK_CONF_DIR’ environment variable.使用的FLink 1.10以上版本解决办法:1, 临时解决办法, 在FLink的bin目录下运行 flink.bat命令2,永久解决办法, 修改flink.ba
2021-06-21 12:14:56
881
2
原创 JVM参数详解
1, -Xms200m -Xmx200m-X表示它是JVM运行参数, ms是 memory start的简称, mx是 memory max的简称一般, 这两个值设置一样大, 因为堆空间不断地扩容与回缩, 也会需要一定的系统资源消耗
2021-06-18 14:19:19
118
原创 Lucene查询结果高亮
代码package com.baifan.lucene.index;import com.baifan.lucene.ik.IKAnalyzer6x;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.analysis.TokenStream;import org.apache.lucene.document.Document;import org.apache.lucene.index.DirectoryRe
2021-06-17 09:52:22
178
原创 Flink三个重要问题
一, Flink怎样实现并行计算每个TaskManager是一个JVM进程(也就是一台机器), 然后配置文件flink-conf.yaml中可以设置每个机器的taskmanager.numberOfTaskSlots: 4, 推荐是配置为机器的CPU核心数, slot是静态设置的资源(内存, IO)分配为多少份, 实际并行运行的时候是一个task是一个jvm线程, 然后他们之间可能在相同的slot上运行, 也可能在不同的slot运行, 然后不同task之间还会跨taskmanager进行交互, 比如说ke
2021-06-16 22:38:15
282
原创 java.lang.IllegalStateException: original request is required
最近一个项目使用了Feign, 并且配置了feign.httpclient.enabled = true但是在进行调用其他服务是报错了java.lang.RuntimeException:com.netflix.client.ClientException......Caused by: com.netflix.client.ClientException: null......Caused by: java.lang.IllegalStateException: original requ
2021-06-16 13:55:52
1926
原创 Lucene布尔查询
//省略相同代码Query query1 = new TermQuery(new Term("title", "美国"));Query query2 = new TermQuery(new Term("content", "日本"));BooleanClause bc1 = new BooleanClause(query1, Occur.MUST);BooleanClause bc2 = new BooleanClause(query2, Occur.MUST_NOT);BooleanQuery
2021-06-16 09:41:37
170
原创 Lucene词项(term)查询
package com.baifan.lucene.index;import com.baifan.lucene.ik.IKAnalyzer6x;import org.apache.lucene.analysis.Analyzer;import org.apache.lucene.document.Document;import org.apache.lucene.index.DirectoryReader;import org.apache.lucene.index.IndexReader;
2021-06-15 10:06:34
243
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人