qq_39261894的博客

flink sql upsert kafka对于changelogNormalize state解读原文：https://www.jianshu.com/p/5ffe5aa0dc59这里说一点：flink sql - upsert kafka 去重并非在kafka-connector中实现，而是在这个DeduplicateFunctionBase父类中的ValueState进行keyby状态去重的，因此为何upsert-kafka需要在kafka的message中带有key；/** * B

问题描述：[hadoop@n2 hdfs]$ ip a1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_l

资料链接：https://github.com/geektime-geekbang/geektime-ELK版本迭代插件在线安装（中文ik分词器）启停Kibana 快捷键documnetindexES masterES nodeES other node各个节点角色分片7.0 主分片数5 -> 1机器健康cerebrohttps://github.com/lmenezes/cerebro/releasesCRUD

监控ES集群诊断提高写性能提高读性能压力测试

如果有pod提示Init:ImagePullBackOff，说明这个pod的镜像在对应节点上拉取失败，我们可以通过 kubectl describe pod 查看 Pod 具体情况，以确认拉取失败的镜像：[root@master ~]# kubectl get pods -n kube-systemNAME READY STATUS RESTARTS AGEcoredns-7ff77c879f-lssvc

在k8s添加新节点时，发生如下错误couldn't validate the identity of the API Server: expected a 32 byte SHA-256 hash, found 31 bytes报错原因：kubeadm init生成的token有效期只有1天解决方法：# master 查看节点检查token是否有效kubeadm token list# 生成新的token和命令。然后在node重新执行kubeadm token create --print

Flink 异步IO时 timeout报错java.lang.Exception: An async function call terminated with an exception. Failing the AsyncWaitOperator. at org.apache.flink.streaming.api.operators.async.Emitter.output(Emitter.java:137) at org.apache.flink.streaming.api.operators.

我们使用ElasticSearch时一般需要自己创建ElasticSearch的索引的Mapping，当索引非常多的时候，可能需要配置一个索引模板Template来对类似的索引做统一配置，让索引模板Template中配置匹配索引的规则，来确定该Template会被应用到哪些索引上。Template配置方式当Logstash在整合ElasticSearch的时候，会有下面三种方式的Template配置：1. 使用ElasticSearch默认自带的索引模板ElasticSearch默认自带了一个名.

要使用托管算子状态，有状态函数可以实现更通用的CheckpointedFunction接口或ListCheckpointed<T extends Serializable>接口。官方参考链接:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.html#listcheckpointed此文使用ListCheckpointed，如下是官网的案例class CounterSou

1.暴力匹配算法假设现在我们面临这样一个问题：有一个文本串S，和一个模式串P，现在要查找P在S中的位置，怎么查找呢？如果用暴力匹配的思路，并假设现在文本串S匹配到 i 位置，模式串P匹配到 j 位置，则有：如果当前字符匹配成功（即S[i] == P[j]），则i++，j++，继续匹配下一个字符；如果失配（即S[i]! = P[j]），令i = i - (j - 1)，j = 0。相当于每次匹配失败时，i 回溯，j 被置为0。理清楚了暴力匹配算法的流程及内在的逻辑，咱们可以写出暴力匹配的代码，如

动态规划算法介绍动态规划(Dynamic Programming)算法的核心思想是：将大问题划分为小问题进行解决，从而一步步获取最优解的处理算法动态规划算法与分治算法类似，其基本思想也是将待求解问题分解成若干个子问题，先求解子问题，然后从这些子问题的解得到原问题的解。与分治法不同的是，适合于用动态规划求解的问题，经分解得到子问题往往不是互相独立的。( 即下一个子阶段的求解是建立在上一个子阶段的解的基础上，进行进一步的求解)动态规划可以通过填表的方式来逐步推进，得到最优解.动态规划算法最佳实

分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)……分治算法可以求解的一些经典问题 二分搜索 大整数乘法 棋盘覆盖 合并排序 快速排序 线性时间选择 最接近点对问题 循环赛日程表 汉诺塔分治算法的基

sparksubmit阶段首先运行sparksubmit脚本，找到SparkSubmit类，运行main方法，然后进入submit方法里，准备好提交环境(prepareSubmitEnvironment(args))，得到““org.apache.spark.deploy.yarn.Client””，运行runMain(childArgs, childClasspath, sysProps, childMainClass, args.verbose)，反射Clinet类运行main方法在Clien

环境说明：versionCentOS6.8JDK1.8Maven3.6.3Scala2.11.8Hadoop2.7.2Hive2.3.6Spark2.1.1源码编译Hive和Spark的版本兼容性https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3a+Getting+Started1.下载Spark源码包：https://archive.apac

把Scala的两个Map合并，合并的时候会遇到相同的键和不同的键，对与相同的键，合并后的值是两个Map的值的和，对于只存在于一个Map中的键保留其值不变，对于下面两个map的合并scala> val m1 = Map(1->10, 2->4)m1: scala.collection.immutable.Map[Int,Int] = Map(1 -> 10, 2 -> 4)scala> val m2 = Map(2->5, 4->8)m2: s

Spark的算子的分类从大方向来说，Spark 算子大致可以分为以下两类:1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。2）Action 行动算子：这类算子会触发 ...

错误如下：当我们导入Hbase依赖后，再次打开localhost:4040页面时，控制台打印信息如下：错误原因：一般由 jetty servlet版本冲突 跟HttpServlet包中的servlet版本冲突解决方案： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</art

排序方法在实际的应用场景中非常常见，Scala里面有三种排序方法，分别是： sorted，sortBy ，sortWith分别介绍下他们的功能：（1）sorted对一个集合进行自然排序，通过传递隐式的Ordering（2）sortBy对一个属性或多个属性进行排序，通过它的类型。（3）sortWith基于函数的排序，通过一个comparator函数，实现自定义排序的逻辑。...

Spark 客户端可以直接连接 Yarn，不需要额外构建Spark集群。有 client 和 cluster 两种模式，主要区别在于：Driver 程序的运行节点不同。client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出cluster：Driver程序运行在由 RM（ResourceManager）启动的 AM（AplicationMaster）上, 适用...

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-Built-inFunctions上方官方文档具有以下函数或操作Hive运算符和用户定义的函数（UDF）内置运算符运算符优先级关系运算符算术运算符逻辑运算符字符串运算符复杂类型构造函数复杂类型上的运算符...