天龙八部

问了搭建k8s集群踩了很多坑，问题主要出现在网络插件处，因此主要是master节点操作问题。重新走一下流程整理一下笔记。

配置详情生成默认配置。

安装看k8s的网络插件一直失败，看到有提示可能是系统内核版本太低，抱着试试的心态进行内核升级。文章很多，操作流程都一样，但是很多部分地址下载不下来安装包。

对比其他虚拟机，配置并无不同，一直也很奇怪。最后跟网上的配置对比时 发现是自己的文件配置修改错误 应该将BOOTPROTO="dhcp" 修改为static ，而实际修改成PROXY_METHOD="static" ，导致静态ip不生效。最后解决 修改vi /etc/sysconfig/network-scripts/ifcfg-ens33。通过ip addr 查看出现两个ip，一个是自己配置的静态ip，一个是动态分配的ip。将 BOOTPROTO="dhcp" #dhcp修改为static 后正常。

任务开启后数据可以源源不断的打印出来，感觉不到事务的存在。查询资料发现 kafka的隔离级别默认为读未提交，因此当事务数据没有提交时可以消费到数据，改为事务级别改为读已提交后，在样例1的checkpoint执行完前，消费不到数据。查看flink源码时 sink kafka有事务提交机制，查看源码发现是使用两阶段提交策略，而事务提交是checkpoint完成后才执行，那么如果checkpoint设置间隔时间比较长时，事务不提交，后端就消费不到数据呢？而观察实际现象为写入kafka的消费数据可以立马消费。

状态是程序运行数据处理的中间数据或缓存数据。在flink中有状态、状态后端和checkpoint概念，三者之间的关系为：状态为数据，状态后端为状态的管理员，checkpoint是管理员将状态数据进行快照的手段。

MVCC，全称Multi-Version Concurrency Control，即多版本并发控制，是一种并发控制的方法，；在并发读写数据库时，可以做到在读操作时不用阻塞写操作，写操作也不用阻塞读操作，提高了数据库并发读写的性能解决脏读、幻读、不可重复读等事务隔离问题，但是不能解决更新丢失问题。

大数据大部分是sqlboy，整理一下常用的开窗函数。

继承Triger，重写抽象方法，案例.print();窗口长24小时，每十秒触发一次计算@Override//定义状态，记录该状态 触发器第一个元素进来时注册全部的触发器//第一次注册，右面全部跳过//注册触发器 间隔10s@Override//使用的事件时间，因此触发窗口的计算@Override@Override。

flink提供8种不同的处理函数；窗口和流都可以使用1.ProcessFunction 是最基本的处理函数，基于DataStream直接调用process()时作为参数传入；2.KeydProcessFunction:是对流进行分区后的处理函数，基于KeyedStream调用process()时作为参数传入。只有该方法支持定时器功能（onTime）；窗口函数，只有窗口可以使用。

窗口是flink中重要的概念，为了方便高效的处理无界流，将数据切成有限的数据块进行处理；

添加后执行yum 命令正常设置linux本地的客户端DNS的配置文件。DNS可以实现域名和IP的互相解析，而我本地安装虚拟后该文件为空。

k8s部署后冲节点一直是norready

记录一次 compareto使用异常java.lang.IllegalArgumentException: Comparison method violates its general contract!源代码 如下 刚开始执行运行都没有任何问题 上线后也运行了一段时间，知道有一次数据量比较大 出现这个异常，查看日志问题错误发生在这个排序比较的地方@Overridepublic int compare(Integer o1, Integer o2) { return o1.intVa..

三种数据结构出现的版本顺序RDD (Spark1.0) -->Dataframe(Spark1.3) -->Dataset(Spark1.6)RDDrdd的五大特性 这个用了很多，但是当突然被问到五大特性时，竟然一时卡壳，只记得弹性可分区和容错 ，而血统、依赖和数据本地化并没有归并到特性中，重新查看资料后，发现自己错在把rdd当成一种数据集合， 可分区列表：可以创建指定分区数目，可以生成新的rdd来改变分区数 作用在分区的函数：rdd的计算都是以分区为单位 依赖关系...

在spark-sql cli模式下只能是纯sql ，这个对于执行过程中的一些操作基本没有操作的可能，因此当出现执行速度很慢时优化难以入手

在这篇文章中：SparkSQL总体流程介绍Join基本要素Join基本实现流程sort merge join实现broadcast join实现hash join实现inner joinleft outer joinright outer joinfull outer joinleft semi joinleft anti join总结文章写...

spark-sql执行脚本，导出数据的脚本爆出如下异常；Caused by: org.apache.spark.SparkException:Job aborted due to stage failure: Total size of serializedresults of 1212tasks (10300 MB) is bigger thanspark.driver.maxResul...

运行执行spark-sql 脚本文件，爆出对堆外内存溢出错误如下图，先区分发生异常是executor端还是driver端，我遇到的问题是driver端，因为最后数据导出生成文件，数据会在driver端收集结果集。调节方式有两种，第一种正大driver-memory值，堆外内存计算公式默认是max(0.1*driver-memory ,384M)，（executory的的对外内存计算公式也是一样...

原先语句是在spark2.1上执行的sql，现在放到spark1.5上执行执行失败；现象描述：如果没有用insert 直接执行select 语句，是不会报错，执行insert 但是去除exists的子查询，也是不会报错。所以感觉很奇怪，然后将not exists用left anti join 代替 发现spark1.5也不支持。各种尝试后最后在inert into 后面加上table 关键字...