- 博客(69)
- 收藏
- 关注
RSS订阅转载 Flink 状态管理详解-转载学习
Flink 状态管理详解（超全收藏）_flink状态后端的应用场景-CSDN博客Flink---11、状态管理（按键分区状态（值状态、列表状态、Map状态、归约状态、聚合状态）算子状态（列表状态、广播状态））_flink精密的状态管理-CSDN博客
2024-05-28 17:41:45
31
原创 clickhouse 在货拉拉的应用实践，千亿级别数据实现秒级查询
前言为了解决线上问题定位慢，相应不及时等问题。所以我们决定开发一套智能问题定位系统。对于我们的一些核心系统，每个订单会对应推送多个司机（线上最多达到上千个司机，平均也有几百个司机）。如果要每个司机都记录一条埋点信息那么数据量将会非常庞大，目前埋点数据日均60+亿，一个月接近2000亿数据。这种以司机维度存储数据会存在大量的数据冗余，耗费大量存储等机器资源。并且传统的关系型数据库在动则几十亿到上千亿级别的表上查询，几乎做不到秒级响应。前期我们调研的时候考虑过使用hbase 、druid...
2021-09-29 15:48:12
3595
4
转载 设计并实现一个LRU Cache (java)
https://blog.csdn.net/maoyeqiu/article/details/50452870
2021-07-18 15:56:50
152
转载 Clickhouse MergeTree 详细解析
https://blog.csdn.net/vkingnew/article/details/106988056
2021-07-16 10:48:58
227
原创 flink 1.9 sink clickhouse
由于flink 1.9 版本的jdbc 有不少ck 类型并不支持，例如Map 类型。故重写了一个clickhouse sink。基本依赖： <!-- https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc --> <dependency> <groupId>ru.yandex.clickhouse</groupId>
2021-06-23 19:11:13
662
转载 使用Flink写clickhouse
<dependencies> <!-- Apache Flink dependencies --> <!-- These dependencies are provided, because they should not be packaged into the JAR file. --> <dependency> <groupId>org.apache.flink&...
2021-06-10 10:01:27
1555
原创 macOS通过docker 安装clickhouse过程
brew install --cask docker// 修改镜像{ "builder": { "gc": { "enabled": true, "defaultKeepStorage": "20GB" } }, "features": { "buildkit": true }, "experimental": false, "debug": true, "registry-mirrors": [ "https://...
2021-06-04 18:32:02
538
转载 Flink on RocksDB 参数调优指南
1. 背景对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2].基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上百个之多，且彼此之间还相互影响，非常难以调整。更致命的是，默认参数和配置不当的参数，读写...
2021-01-29 10:29:38
882
原创 记一次 Could not find a suitable table factory for ‘org.apache.flink.table.delegation.ExecutorFactory‘
通过SPI 找不到想要的接口，可以超尝试以下骚操作：先resources目录下面创建META-INF目录，接着在其下面继续创建services目录， 因为找不到的TableFactory的子类都在org.apache.flink.table.factories.TableFactory里配置，所以我们创建这个文件，然后把未能加载的类都放进去，前提要保证你的jar包里面这些类确实存在 如下图，然后重新打包JAR 发不到集群运行。有问题欢迎加微信交流哟：yekepingyy...
2020-12-17 18:00:34
9528
5
原创 爬虫总结
网页爬取 服务端渲染 客户端渲染 服务端渲染的意思就是页面的结果是由服务器渲染后返回的，有效信息包含在请求的 HTML 页面里面，比如猫眼电影这个站点。客户端渲染的意思就是页面的主要内容由 JavaScript 渲染而成，真实的数据是通过 Ajax 接口等形式获取的，比如淘宝、微博手机版等等站点。服务端渲染的情况就比较简单了，用一些基本的 HTTP 请求库就可以实现爬取，如 urllib、urllib3、pycurl、hyper、requests、grab 等框架，其中应用最多的可能就是 re
2020-11-25 15:20:01
119
转载 这可能是你见过的最全的网络爬虫总结
https://blog.csdn.net/weixin_44905281/article/details/90021863?utm_medium=distribute.pc_relevant.none-task-blog-title-3&spm=1001.2101.3001.4242这可能是你见过的最全的网络爬虫总结http://blog.itpub.net/30239065/viewspace-2718738/
2020-11-22 20:18:59
129
原创 有关于反爬策略的整理
https://www.jianshu.com/p/6c64f7fd27ca1、限制访问频率 针对IP、UA、设备指纹，帆布指纹（canvas）识别和FingerPrint （https://www.jianshu.com/p/6c41658f9cb7）设备指纹技术设备指纹是可以用于唯一标识出该设备的设备特征，设备指纹应用平台主要为手机、Pad、PC等互联网设备。设备指纹技术实现方式分为三种：主动式、被动式、混合式。主动式设备指纹采集技术主动式指主动采集设备上固有的、...
2020-11-20 17:37:18
502
1
原创 Flink 双流join之left join详解，附demo工程
join+window+eventtime如果使用eventtime需要注意的事情比较多,否则会出现十分诡异的不触发计算的情况,直接看如下示例代码public class People { String age; long eventTime; String eventTimeStr; String id; String name; public People(String age, long eventTime, String id, Str
2020-11-18 09:58:32
2178
原创 利用拦截器来实现日志系统
记录日志的上下文类：ContextHolderpublic final class ContextHolder { private static ThreadLocalContext context = new ThreadLocalContext(); private long interval; private long startTime; private Throwable exception; private String requ...
2020-10-29 16:12:13
298
原创 线程日志
public final class ContextHolder { private static ThreadLocalContext context = new ThreadLocalContext(); private String clientID; private String cId; private String sessionId; private long interval; private String packageName; ..
2020-10-28 17:43:06
104
转载 计算机网络知识整理
https://www.cnblogs.com/theRhyme/archive/2004/01/13/10911593.html
2020-09-29 10:39:39
106
转载 KdTree理解与实现（Java）
https://blog.csdn.net/vinceee__/article/details/83044037
2020-09-28 16:03:14
209
转载 操作系统中的进程间的通信机制
https://blog.csdn.net/EveryFriDay_ShuJk/article/details/79783334
2020-08-25 09:31:51
134
原创 在浏览器输入URL回车后发生了什么
大致流程如下： URL 解析 DNS 查询 TCP 连接 处理请求 接受响应 渲染页面 一、URL 解析 地址解析：首先判断你输入的是一个合法的 URL 还是一个待搜索的关键词，并且根据你输入的内容进行自动完成、字符编码等操作。 HSTS：由于安全隐患，会使用 HSTS 强制客户端使用 HTTPS 访问页面。详见：你所不知道的 HSTS[1]。 其他操作：浏览器还会进行一些额外的操作，比如安全检查、访问限制...
2020-08-22 22:04:39
170
原创 Mybatis相关知识
Mybatis常见面试题总结https://www.cnblogs.com/lukelook/p/11099039.html
2020-08-16 21:22:39
51
转载 java里面的悲观锁和乐观锁
https://blog.csdn.net/thetimelyrain/article/details/100974565
2020-08-11 22:09:15
81
转载 深入理解ThreadLocal的原理和内存泄漏问题
https://blog.csdn.net/qq_33404395/article/details/82356344?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-6.add_param_isCf&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-6.add_
2020-08-11 21:57:12
127
转载 深入理解HashMap底层原理剖析(JDK1.8)/ConcurrentHashMap 原理解析（JDK1.8）
https://my.oschina.net/u/2307589/blog/180058
2020-08-11 21:17:50
137
原创 Shopee 面经
4、HashMap机制5、HashMap扩容过程以及安全问题6、TCP拥塞机制https://www.cnblogs.com/ppzhang/p/10506237.html7、如果没有拥塞机制会怎样8、TCP流量控制https://www.cnblogs.com/ppzhang/p/10506237.html 利用滑动窗口9、TCP怎么保证安全机制1. 停止等待协议 ：每发送完一个分组，就停止发送，等待对方确认，收到确认后再发送下一个分组。 2. 连续ARQ协议 利用.
2020-07-11 15:59:07
1721
原创 TCP/IP协议详解
1、TCP/IP协议详解https://blog.csdn.net/weixin_44198965/article/details/900831262、HTTP、TCP、IP协议常见面试题https://www.cnblogs.com/yswyzh/p/9596768.html
2020-07-04 22:07:54
109
原创 flink 1.10 demo
package apps;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.restartstrategy.RestartStrategies;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.api.java.tuple.
2020-07-03 16:38:03
310
翻译 Flink Table API & SQL编程指南
https://blog.csdn.net/jmx_bigdata/article/details/106466273
2020-07-02 20:15:58
106
翻译 flink创建视图的几种方式
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.java.typeutils.RowTypeInfo;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironm.
2020-07-02 20:15:06
2069
转载 drools 如何动态加载规则
drools版本：7.0语言：java8描述：动态从数据库中加载规则，并且加载到工作内存中最终实现效果：从数据库中读取数据生成drl格式的字符串以后，可以一次性加载到工作内存中，也可以逐次加载到内存中进行build，而之前已经build好的规则不会消失。下面是具体实现过程：首先drools提供了常见的两种加载规则的方式，一种是通过定义kmodule.xml的方式进行加载，并且在对应的package下写好drl规则文件即可，xml文件如下，规则文件略。 <?xml vers..
2020-06-24 17:43:17
3760
1
原创 拼多多笔试题
/** * 1. 判断一个数是否对称，如121，12321，注意不能将数字转换成字符串比较 */ static boolean isReverse(int i) { if (i < 0) { return false; } int j = i; int result = 0; while (i != 0) { int temp = i % 10;.
2020-05-13 14:32:05
288
原创 mysql 相关知识
1、索引失效的几种情况https://blog.csdn.net/linzuo7096/article/details/94353290?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3...
2020-05-08 21:38:16
133
原创 dubbo 相关知识
https://blog.csdn.net/a347911/article/details/88324056https://www.jianshu.com/p/48d3b63723ed
2020-05-01 21:34:15
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人