面试总结
文章平均质量分 90
ritagreen123
这个作者很懒,什么都没留下…
展开
-
flink怎么保持数据一致性
flink组件扫盲https://blog.csdn.net/wypblog/article/details/103900577flink怎么保持数据一致性flink在快照过程中,一个节点挂了怎么办https://zhuanlan.zhihu.com/p/348559815在 Flink 中需要端到端精准一次处理的位置有三个:Source 端:数据从上一阶段进入到 Flink 时,需要保证消息精准一次消费。可重设数据的读取位置,当发生故障时重置偏移量到故障之前的位置。Flink 内部端:原创 2021-08-28 10:17:13 · 2635 阅读 · 3 评论 -
问题总结:
hadoop三大组件hdfs组成架构:client、namenode、datanode、secondaryNode读流程写流程Yarn工作流程Mapreduce流程:inputsplittingrecorder readershufflereducereduce task 是自己可以改的map taskkafka各个组件和zookeeper的关系kafka为什么快ack 0 1 -1什么意思读写分离消息顺序选举策略可重复、高可用性flink原创 2021-08-16 20:47:08 · 130 阅读 · 0 评论 -
面试总结记录
一、嘀嗒一面数据开发组、数据分析组、数据应用组数据开发内容:1、偏数仓建设,大的topic量可以达到十万级别,2、数据中台:日志采集,离线一条,实时一条,质量监控,抽象成模块,组成DAG图,常用逻辑封装平台化,数据中台应用kafka的ack机制:一次响应?kafka线上实操:kafka的6个分区,扩展成20个分区消费kafka是怎么消费的,用原生代码还是写flink程序,kafka扩容之后,下游消费的程序要不要修改,topic的partition增加,要怎么修改;flink任务启动,如果启动失原创 2021-08-08 21:08:29 · 144 阅读 · 0 评论 -
flink和其它模块交互
Flink从kafka消息队列读取数据转载:https://blog.csdn.net/yanshien840826/article/details/1113138961、首先要设置Flink的执行环境// 创建Flink执行环境StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();2、设置Kafka相关参数,连接对应的服务器和端口号,读取名为Shakespeare的Topic中转载 2021-08-04 09:23:33 · 633 阅读 · 0 评论 -
flink相关
基础概念http://shiyanjun.cn/archives/1508.html用户实现的Flink程序是由Stream和Transformation这两个基本构建块组成,其中Stream是一个中间结果数据,而Transformation是一个操作,它对一个或多个输入Stream进行计算处理,输出一个或多个结果Stream。当一个Flink程序被执行的时候,它会被映射为Streaming Dataflow。一个Streaming Dataflow是由一组Stream和Transformation O转载 2021-07-26 09:51:57 · 118 阅读 · 0 评论 -
Elasticsearch、kafka相关
elasticSearchDoc Valueshttps://www.elastic.co/guide/cn/elasticsearch/guide/current/_deep_dive_on_doc_values.htmlDoc Values 是在索引时与 倒排索引 同时生成。也就是说 Doc Values 和 倒排索引 一样,基于 Segement 生成并且是不可变的。同时 Doc Values 和 倒排索引 一样序列化到磁盘,这样对性能和扩展性有很大帮助。Doc Values 通过序列化把数据原创 2021-07-25 15:02:35 · 207 阅读 · 2 评论 -
java锁和并发类
ConcurrentHashMap线程安全原理https://www.jianshu.com/p/e10bde0f3cffvolatile关键字:https://www.huaweicloud.com/articles/9cc350bccdc33dd12a5f277197804ba4.html如果一个变量被声明volatile的话,那么这个变量不会被进行重排序,也就是说,虚拟机会保证这个变量之前的代码一定会比它先执行,而之后的代码一定会比它慢执行。例如把上面中的number声明为volatile,原创 2021-07-20 22:40:45 · 93 阅读 · 0 评论 -
操作系统面经
操作系统https://zhuanlan.zhihu.com/p/143273007常见置换算法有以下四种:最佳置换算法(OPT)(不可能实现)淘汰以后永不使用或最长时间内不再被访问的页面;保证获得最低的缺页率。 但操作系统无法知道各个页面下一次将在什么时候被访问,因此该算法是无法被实现的;先进先出(FIFO)置换算法优先淘汰最早进入内存的页面;实现简单,但性能差;Belady异常:FIFO算法会产生当所分配的物理块数增大而页故障数不减反增的异常现象;最近最少使用(LRU)置换算法置换未使原创 2021-07-20 21:50:08 · 187 阅读 · 0 评论 -
计算机网络相关面经
传输层的网络拥塞控制算法传输层:TCP udp1、什么是拥塞控制?2、为什么进行拥塞控制?3、测试网络状况4、什么是拥塞窗口?5、阻塞超时6、判断发送超时的情况常用的拥塞控制算法区别什么是 TCP 拥塞控制常见的 TCP 拥塞控制算法BBR总结OSI 模型是什么一、OSI七层模型二、五层体系结构三、三种模型结构:四、各层的作用七层结构五层结构有哪些协议是基于 TCP 的,哪些是基于 UDP 的TCP(传输控制协议):UDP(用户数据报协议,User Data Protocol)总结:TCP、UDP和HTTP原创 2021-07-19 22:13:27 · 310 阅读 · 1 评论 -
9月4号-京东数科,9月6号nmwq,9月8号滴滴
京东:索引的分类索引分类1.普通索引index :加速查找2.唯一索引主键索引:primary key :加速查找+约束(不为空且唯一)唯一索引:unique:加速查找+约束 (唯一)3.联合索引-primary key(id,name):联合主键索引-unique(id,name):联合唯一索引-index(id,name):联合普通索引4.全文索引fulltext :用...原创 2019-10-30 19:54:22 · 176 阅读 · 0 评论 -
8月6号百度+8月9号滴滴
百度:操作系统:用户态和类合态网络状态码lru算法线性数据结构和非线性数据结构java虚拟机,堆栈,gc的roottcp三次握手、四次挥手https的那个sip层的协议是什么超时同传进程和线程的区别进程的几种状态进程之间怎么通信归并排序B+树forkip怎么分发的,怎么从a的ip到b的IP的滴滴:object的类理解,和范型的区别有什么类方法,tostrin...原创 2019-10-30 17:40:38 · 131 阅读 · 0 评论