0102的博客

如上图，Flink总内存（Total Process Memory）包含了Flink总内存（Total Flink Memory） 和JVM特定内存，Flink总内存又包括JVM堆内存（JVM Heap），托管内存（Managed Momory），直接内存（Direct Memory），下面我们分别介绍每一部分的功能以及Flink提供的参数配置。

如上案例，Flink处理流转关系图中有两个128并发的Kafka Source和一个32并发的Redis ，上下两路数据处理路径，一条是两个Kafka Source经过Join以后在经过一些AGG聚合操作，最后将数据Sink到16并发的Kafka中；（主要是内存），比如，Redis需要将数据缓存到内存提高性能，聚合则需要大量的managed memory存储state，对于这两本了只要申请32 和16份资源，对其后需要128份，那么多余的slot中内存资源就浪费了。对于较重的资源消耗的算子，导致。

另外一个方面是在Flink中运行的task对CPU资源的占用不同，有CUP密集型task 操作和CPU非密集型task操作情况，例如在Flink集群中source和map操作只是读数据后转换，对CPU占用短，但是window这种穿口计算聚合操作设计大量数据计算，占用CPU资源长，这就导致运行时候source/map，sink操作非常快，window操作时间长，source/map对应的subtask会等待window对应的subtask执行，同样sink的对应的。Flink中哪些操作可以合并一起？

Application 模式与Per-job类似，只是不需要客户端，每个Application提交之后都启动一个JobManager，也就是创建一个集群，这个JobManager只为执行这一个Flink Application而存在，Application中的多个Job都会共用该集群， Application执行结束之后JobManager也就关闭了。缺点：每个作业都在客户端享集群JobManager提交，如果一个时间点大量提交Flink作业会造成客户端占有大量网络带宽，会加重客户端所在节点的资源消耗。

TaskManager会提供JobManager从ResourceManager中申请和分配的Slot计算资源，JobMaster根据分配到的Slot计算资源将Task提交到TaskManager上运行。一个FLink集群中至少有一个TaskManager，在TaskManager中资源调度的最小单位是task slot，一个TaskManager中task Slot的数量决定了当前Taskmanager最高支持的兵法task个数，一个TaskSlot中可以执行多个算子。

Apache Flink是一个分布式处理引擎，用于处理 无边界数据流， 有边界数据流上金秀贤有状态的计算。Flink能在所有常见的集群环境中运行，并能以内存速度和任意规模进行计算如下Flink官网的一张图。

Client将B 以及 A加密后的密文集 一起 发送给Service ，Service 用 私钥解密 B 得到A，利用A解密密文的到原文。Client持有公钥，Service 持有私钥，第三步开始Client 生成一个对称密钥A，用公钥加密A得到加密后的字符B。通过SSL证书，完成了公钥的安全获取，安全性由第三方保证。接下来就是走上一个步骤中说明的：对称加密和非对称加密结合使用过程。同样Service用A加密要传输的数据得到密文传输给Client用A解密得原文。总的来说，HTTPS实现如下图。

ES的写入优化和其他数据库存储类似，就是避免直接对磁盘进行操作，通过加缓存的方式，如果加一层缓存不行，那么久多加一层缓存，通过backup文件追加写的方式来做crash-safe。第二步：node 4 通过文档id在路由表中的映射信息确定当前数据的位置为分片0，分片0的主分片位于node 5，将数据妆发到node5。Es会定期进行flush ，将缓存中的Segment写入到磁盘，写完后，会讲Segment索引标记为可用，所以写入到查询有1s延迟。第一步：客户端发起请求到node4的1分片。

每个索引文档都有一个版本号。默认情况下，使用从1 开始的内部版本控制，每次更新都会增加。可选操作是，版本号可以设置为外部（比如在数据库中维护）。提供的值必须大于或等于0 而且小于9.2e + 18 左右的数字长整型值。如果设置了version_type = external，在用外部版本类型时候，系统会检查传递给索引请求的版本号是否大于当前存储文档的版本。如果为真，文档将被索引并使用新的版本号。如果提供的值小于或等于存储文档的版本号，则会发生版本冲突，索引操作将失败。

倒排索引适用于确认 term 在哪些文档中， 正排索引正好相反适用于确认某个文档中存在哪些term正排索引 和 倒排索引都是在index-time时候 创建，存储位置都是在lucene文件中序列化到磁盘中doc values 使用非jvm heap，对gc友好。

第一点说明：以上查询语句，我们需要在product上建索引， MySql上使用的B+树，因为文本的信息量特别的大，导致所需要的节点就更多N个16KB（第三点说明：“小米 NFC 手机%” 去掉做匹配，走索引的方式，则会只查询"小米 NFC 手机"开头的，这样就会导致结果不准确。B树的每个节点都存放 索引 & 数据，数据遍布整个树结构，搜索可能在非叶子结点结束，最好情况是O(1)第二点说明：“%小米 NFC 手机%” 查询中用做匹配的方式去查询，会导致索引失效，这样导致全表扫描。

【代码】Interview preparation--elascitSearch深分页问题。

如果需要检索所有包含检索条件4个字符的数据比如：test，加密字符后通过 key like “%partial%” 查库。

RabbitMQ没有直接支持延迟队列，而是通过死信队列实现，在死信队列中，可以为普通交换机绑定多个消息队列，假设绑定过期时间为5分钟，10分钟，30分钟，3个消息队列，然后为每一个对了设置一个DLX，为每一个DLX关联一个死信息队列，这样因为普通队列没有被消费，等指定时间后久会到DLX中，接着DLX中的绑定消费者消费这条消息，间接实现了延迟队列。RabbitMQ支持延迟消息，投递后到exchange之后，并不会立刻给消费者，而是指定时间之后给。

【代码】Interview preparation-- Feign源码分析。

如果需要查询时效性，例如insert后立刻查询，选择 primary/primaryPreferred。如果是类似广播发布信息，比如上传图片后，全国各地每个地方都需要读：nearest。如果实效性不高，则可以从：secondary/sendaryPreferred。

【代码】Interview preparation -- 线上问题排查指令。

书籍：-《管理学》：https://book.douban.com/subject/1012611/-《卓有成效的管理者》：https://book.douban.com/subject/25850098/-《人性的弱点》：https://book.douban.com/subject/1391399/课程和培训：Coursera：https://www.coursera.org/edX：https://www.edx.org/领英学习：https://www.linkedin.com/learn