- 博客(13)
- 收藏
- 关注
RSS订阅原创 【大数据面经系列】大数据开发（实时计算方向）面试题（二）
腾讯一面自我介绍特征变量计算项目两个字符串相减（大数相减）flink端到端一致性flink两阶段提交以及如何与checkpoint机制结合flink反压机制两数相加米哈游一面自我介绍flink作业提交过程算子如何分配slotflink watermark业务场景：去重求当天的pv业务场景：实时数仓架构设计java：currentHashmap 原理 volitatefinal，finally，finalize关键字区别类加载以及在jvm中flink中有哪些关联维
2022-02-16 21:29:36
1861
原创 【大数据面经系列】大数据开发（实时计算方向）面试题（一）
得物一面自我介绍实时数仓相关项目介绍flink集群规模与版本多流join有哪些？connect原理与实现flink状态后端有哪些？FSMemory和RocksDBstate有什么区别？flink反压机制如何检测和解决？多个算子的单一算子链如何检测反压？kafka ack机制 kafka rebalance二面自我介绍实时模型特征值工程介绍？重点项目介绍频繁查询维表如何处理？频繁update 外存如何处理？端到端的一致性保证sink到kafka中的一致性保证？kafk
2022-01-29 12:14:59
3769
原创 redis性能问题排查学习笔记
本问是在阅读学习公众号水滴与银弹的文章《Redis为什么变慢了？一文讲透如何排查Redis性能问题 | 万字长文》之后，记录下自己的学习笔记（截图转自该文章，仅用作自己学习）1. redis服务器基准性能测试// 这个实例60秒内的最大响应延迟redis-cli -h 127.0.0.1 -p 6379 --intrinsic-latency 60// 查看一段时间内 Redis 的最小、最大、平均访问延迟redis-cli-h127.0.0.1-p6379--latency-hi...
2021-02-08 20:09:36
361
2
原创 flink MapState 更新存储对象问题
这里写自定义目录标题欢迎使用Markdown编辑器欢迎使用Markdown编辑器在使用flink中的状态管理器时，由于需求背景我选用了MapState存储结构，但是在使用过程中发现修改存储对象的时候并没有MapState中的值并没有自动更新，这让我产生了很大的疑惑，看官方文档和flink源码中我都一直把MapState认为是类似于Map结构的，那自然认为修改里面的存储对象时整个map会自动更新，但是实际使用和测试下来确发现不是这样。先贴一段官方文档：MapState<UK, UV>:
2020-10-20 19:45:48
2192
2
转载 java值传递和引用传递详解
【转载】java值传递和引用传递详解java值传递链接学过Java基础的人都知道：值传递和引用传递是初次接触Java时的一个难点，有时候记得了语法却记不得怎么实际运用，有时候会的了运用却解释不出原理，而且坊间讨论的话题又是充满争议：有的论坛帖子说Java只有值传递，有的博客说两者皆有；这让人有点摸不着头脑，下面我们就这个话题做一些探讨，对书籍、对论坛博客的说法，做一次考证，以得出信得过的答案。其实，对于值传递和引用传递的语法和运用，百度一下，就能出来可观的解释和例子数目，或许你看一下例子好像就懂，但是
2020-09-15 10:57:01
222
原创 初用Mongo之findOneAndUpdate使用心得
本小白前几天在项目中用到mongo的findOneAndUpdate，使用过程中碰到一些坑，先总结如下：用法：db.collection.findOneAndUpdate( <filter>, <update document or aggregation pipeline>, // Changed in MongoDB 4.2 { projection: <document>, sort: <document>,
2020-09-14 14:17:00
9536
2
原创 小白转flink技术栈心得之混编java和scala报错：error: java.lang.NoClassDefFoundError: javax/tools/ToolProvider
今天刚接手了一个flink项目，代码里有java也有scala写的部分，小白第一次遇到要java和scala都需编译的项目，于是乎先进行scala的编译：mvn clean scala:compile compile package -Pfat -DskipTests 结果报了一个错误:[ERROR] error: java.lang.NoClassDefFoundError: javax/tools/ToolProvider[ERROR] Failed to execute goal net.
2020-07-10 16:13:53
3654
2
转载 当心掉进Python多重继承里的坑
转载自：https://www.jianshu.com/p/71c14e73c9d9关于类的知识点里面，有一块是关于多重继承,跟其他主流语言一样，Python也支持多重继承，多重继承虽然有一些好处，但是坑很多，我们今天就来聊一聊Python多重继承里面的坑.先来看一下语法,Python多重继承的语法很简单:class subClass(Base1,Base2)这相当于你创建了一个subClass的类，让它同时继承Base1,Base2,一旦你在subClass的实例上有任何隐式动作，Python会回
2020-06-06 15:03:01
154
原创 golang二三事之关于channel你知道和不知道的那些事
channel向一个关闭的channel里，写数据。无论是否带缓存的channel，都会引发错误panic: send on closed channel向一个关闭的channel里，读数据。带缓存的channel缓存里还有数据返回 数据, true缓存里没有数据返回 数据类型未初始化零值, false不带缓存的channel缓存里没有数据返回 数据类型未初始化零值, false缓存里有数据执行不到 从缓存里读数据就报错。因为数据没人读就阻塞在哪里了关闭
2020-06-04 11:03:01
994
原创 sqlalchemy连接mysql出现Mysql Gone Away报错
在使用sqlalchemy创建engine连接mysql的过程中，偶尔会碰到mysql gone away的问题，到处查文档也没有找的特别好的解决办法，如下找到stackoverflow的一个大佬做了一个db连接的监听器，之前遇到的问题也解决了，现和大家分享一下（有什么不足之处欢迎大家前来交流）：https://stackoverflow.com/questions/18054224/python-sqlalchemy-mysql-server-has-gone-awayfrom sqlalchemy
2020-06-02 10:42:42
327
原创 golang二三事之计算时间差的那点坑
背景：楼上需求方又双叒来提需求来来，这次是想要判断两个时间的天数差，if 天数差 > xx and 天数差 < yy: 。。。。在python中，我们有很多比如time包，datetime包中的方法可以帮助我们完成时间差的计算，比如from datetime import date, datetimedef date_diff(date1, date2=None, format="%Y-%m-%d %H:%M:%S"): """ 计算日期差，传入
2020-06-01 18:55:18
1380
2
原创 golang函数传参 VS python函数传参
近日在使用golang的过程中发现golang的函数传参和python的稍有区别，现总结记录如下：golang函数传参1. 当传数组时会将整个数组全都复制后进行值传递（函数修改数组后并不会影响数组的值），当数组比较大时，每次传递数组都很占用资源，所以一般不用数组传参2. 当传切片时此时是引用传递（函数修改切片后，外面的切片也相应被改变），但由于函数只是进行引用传递，并不会复制一遍值，所以一般都使用切片传值python函数传参python函数传参时，传递的是这个对象，变量就是关于对象的引用；
2020-05-31 14:23:26
210
原创 探索golang初始化
程序初始化顺序golang程序初始化先于main函数执行，由runtime进行初始化，初始化顺序如下：初始化导入的包（包的初始化顺序并不是按导入顺序（“从上到下”）执行的，runtime需要解析包依赖关系，没有依赖的包最先初始化，与变量初始化依赖关系类似，参见golang变量的初始化， package级别的变量，初始化顺序与初始化依赖有关）；初始化包作用域的变量（该作用域的变量的初始化也并非按照“从上到下、从左到右”的顺序，runtime解析变量依赖关系，没有依赖的变量最先初始化，参见golang变
2020-05-31 11:51:14
319
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人