- 博客(16)
- 收藏
- 关注
RSS订阅原创 Flink读取资源文件
Flink读取资源文件看下图查看Flink源码，才发现是用getResourceAsStream()这个方法才可以读取资源文件；如下图：
2020-11-11 15:24:20
1500
原创 Flink 从0到1遇到的抗
因公司项目需求，需要使用实时计算引擎(Flink)，实现快速查询功能！写这篇文章的目的仅仅只是记录我个人在搭建Flink从0到1整个过程遇到的一些问题和思考，仅代表个人观点，有什么观点，请联系本人；
2020-11-05 15:50:19
195
原创 Flink-sql之当前日期
如下看图：在第一次接触Flinksql的时候，获取当前日期如上图；在Sql的Where条件中做条件查询，如上图；其结果造成数据的不更新；原因：FlinkSql函数中，获取当前日期：CURRENT_DATE ，以返回当前系统日期；...
2020-08-10 09:33:50
6950
原创 Flink sql 1.10.1 GroupbyWindow错误记录
错误如下：正确如下：为何这样？？Flink SQL引入了计算列（computed column）的概念，其语法为column_name AS computed_column_expression，它的作用是在表中产生数据源schema不存在的列，并且可以利用原有的列、各种运算符及内置函数。比如在以上SQL语句中，就利用内置的PROCTIME()函数生成了处理时间列，并利用原有的ts字段与FROM_UNIXTIME()、TO_TIMESTAMP()两个时间转换函数生成了事件时间列。为什么canal
2020-08-07 17:17:57
403
原创 Flink-sql之哭也没有泪
#FlinkSql写入Mysqlkafkasource //source tableEnv.sqlUpdate("CREATE TABLE cmis_hs_lm_loan(\n" + " CUST_ID VARCHAR,\n" + " LOAN_TYP VARCHAR,\n" + " ORIG_PRCP DOUBLE,\n" + " LOAN_ACTV_DT V
2020-08-06 19:39:07
282
原创 Flink-sql之欲哭无泪
Flink 1.10.1 SQL错误总结Exception in thread "main" org.apache.flink.table.api.TableException: findAndCreateTableSource failed. at org.apache.flink.table.factories.TableFactoryUtil.findAndCreateTableSource(TableFactoryUtil.java:55) at org.apache.flink.table.
2020-08-06 18:36:14
1411
4
原创 FlinkUI介绍
Flink任务提交Yarn说明Flink UITaskManagerJobManagerSubmit New Job背压Yarnflink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 -c com.zx.main.LmLoan /home/code/flink-report/flinksql/target/flinksql-1.0-SNAPSHOT-jar-with-dependencies.jar说明我们对Markdown编辑器进行了一些功能拓展与
2020-08-04 10:20:07
1367
原创 基本与包装类型全面对比
基本类型与包装类型的区别前言区别前言java的每个基本类型都对应一个包装类型,比如说,java的int类型包装类型为Integer,double的包装类型是Double.基本类型和包装类型的区别主要有一下5点:区别我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：**包装类型可以为null,而基本...
2019-12-17 22:28:06
211
原创 MapperReduce-----好友案列
元数据: A:C,F,H,M,E B:F,H,E,X,C C:B,F,D,E D:M,H,B,D思路:第一阶段首先map端将user作为value值.将好友作为key值循环输出Reduce端将key值放入list集合中遍历输出,在通过双for循环(详细请看代码)第二阶段在Map端在第一阶段的结果上,Set出Key和Value值在Reduce端,通过Strin...
2019-11-07 21:38:22
106
原创 Task的多线程问题
在上一篇文章<<Task序列化问题>>中,如果在Excutor关联一个单例对象数据会存在线程安全问题.在Object单例对象中,如果只读取成员变量,不进行其它变量操作.那样就会避免这种问题.但是,为了使程序运行百分百的安全,还是建议大家按照以下方法避免Spark中Task多线程–线程安全的问题.方案一:package day05.TaskThreadimport...
2019-11-07 21:23:55
346
原创 Task的序列化问题
从Driver关联数据一.创建一个Object的单例对象知识点:Driver初始化一个object，这个单例对象要伴随着Task发送到Executor，但是一个Executor中只有一份，必须实现序列化接口， 有可能会出现线程安全问题.创建一个单列对象代码如下:package day05/** * 必须序列化数据,因为是在Driver初始化, * 因为数据要伴随着Task的...
2019-11-07 13:56:51
215
原创 Spark的广播变量及其案列
广播变量:通俗的讲(本人自己的理解,如有错误,请多指教)就是一旦处理数据量大,生成的大量的Task.Driver需要将变量传递给每一个Task,这样就显得笨拙,低效率.而广播变量------->就是将Driver端的变量分发给executor一份,这样executor启动的Task就会共享这个变量.节省了通信的成本和服务器的资源.如何定义一个广播变量?代码如下: sc.broadcast...
2019-11-05 22:08:38
232
原创 Spark--代码优化案列
本人只针对在此次案列中,对于处理数据量大,内存溢出,效率低等问题的代码改善措施,拿来与大家分享如有改善意见,请多指教.元数据需求:在数据中提取课程和老师的信息,并对访问量进行排序.方案一:package day04import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}...
2019-11-05 00:12:57
143
原创 分别用Scala,Java,JavaLambda编写统计单词个数案列
Scalaimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * 1.创建SparkContext * 2.创建RDD * 3调用RDD的Transformation * 4调用Action * 5释放资源 */object Demo { d...
2019-11-01 00:29:42
209
原创 Akka-RPC通信案列流程
Akka是JAVA虚拟机JVM平台上构建高并发、分布式和容错应用的工具包。Akka用Scala语言写成，同时提供了Scala和JAVA的开发接口。Akka处理并发的方法基于Actor模型。在Akka里，Actor之间通信的唯一机制就是消息传递Spark的RPC是通过Akka类库实现的，Akka用Scala语言开发，基于Actor并发模型实现，Akka具有高可靠、高性能、可扩展等特点，使用Akka可以轻松实现分布式RPC功能。负责管理的角色：ActorSystem（总监）单例的，在scala中就是一
2019-10-30 22:06:55
161
原创 Mr程序数据处理流程
文章是本人基于对MapReduce的理解；如有误，随时交流；Hadoop分布式文件系统的核心组件HDFS，HDFS的核心是MapReduce，而MapReduce的核心是shuffle；可想而知，MapReduce有多重要；Spark是基于MapReduce，针对MapReduce的shuffle进行一系列的基于内存的计算、以RDD的描述信息对数据进行处理、更高级的API的计算引擎；
2019-10-02 12:06:25
955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人