fct2001140269的博客

如今你的气质里,藏着你走过的路,读过的书和爱过的人。” ——《卡萨布兰卡》...

flink运行过程中常见错误总结

错误1.flink常见错误 flink错误提示:missing parameter type Error:(24, 15) reference to StreamExecutionEnvironment is ambiguous; it is imported twice in the same ...

2019-05-10 09:29:02

阅读数 31

评论数 0

排序算法之:归并排序

排序算法之:归并排序 归并排序的思想:归并的思想是分治法的思想,首先对已知数组自上而下递归地分割程序两份,直达最后不能再分为止,然后对已有的子数组(两个部分)比较大小后自下而上合并为一个数组,然后将合并的数组拷贝到原来的数组即可; 空间复杂度为:O(n),是因为合并的过程中需要一个辅助的数组; 时...

2019-04-23 13:26:07

阅读数 13

评论数 0

十余年BAT架构经验倾囊相授

原文地址:https://www.toutiao.com/a6677190794085925389/ 十余年BAT架构经验倾囊相授 推荐阅读1、拜托!面试请不要再问我Spring Cloud底层原理!2、微服务注册中心如何承载大型系统的千万级访问?3、「性能优化之道」每秒上万并发下的Spring ...

2019-04-22 15:10:44

阅读数 25

评论数 0

Java中 synchronized到底锁住的是什么?

Java中 synchronized到底锁住的是什么? 使用环境:多线程java程序中。 作用:在多线程的环境下,控制synchronized代码段不被多个线程同时执行。synchronized既可以加在一段代码上,也可以加在方法上。 使用:synchronized锁住的是括号里的对象,而不是代码...

2019-04-20 17:59:18

阅读数 26

评论数 0

多线程死锁问题 +案例

多线程死锁问题: 一、什么是死锁和原因? 死锁的四个条件:(互斥、不可剥夺、请求持有、循环等待) 最根本原因是:线程在获得一个锁L1的情况下再去申请另外一个锁L2,也就是锁L1想要包含了锁L2,也就是说在获得了锁L1,并且没有释放锁L1的情况下,又去申请获得锁L2,这个是产生死锁的最根本原因**。...

2019-04-03 16:37:02

阅读数 32

评论数 0

大数据疑问总结

1.Storm与Flink怎样写出符合并发的程序?静态与动态,不变缓存的尽量加载一次; 2.封装与模块化思想?类与方法?示例,一次编写,到处运行(过滤港口和锚地代码); 3.对象序列化?storm与flink中的区别,各个-组件之间的序列化问题;【各个算子是否需要序列化,怎样避免序列化】 4.内存...

2019-04-01 17:34:46

阅读数 23

评论数 0

Could not initialize keyed state backend--Flink恢复失败

Flink从checkpoint中恢复时候出现如下错误 Could not initialize keyed state backend Map (5/5) Timestamp: 2019-03-26, 13:41:53 Location: hd6:41889 java.lang.IllegalS...

2019-03-26 14:43:56

阅读数 53

评论数 0

Flink常见的关键技术与特性详解

转载:http://bigdata.51cto.com/art/201702/531036.htm Flink常见的关键技术与特性详解 Flink项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了...

2019-03-26 00:22:50

阅读数 27

评论数 0

为什么有人的人生跟开了挂一样?

转载知乎:《为什么有人的人生跟开了挂一样》 知乎超10000赞文章!为什么有人的人生跟开了挂一样? Aug.25 灼见(微信号:penetratingview) 作者丨另维 来源丨另维和Yellow 01 活到这个年纪, 最该自己做决定的事都被爸妈决定了 发小离婚了,27岁。 我们陪他撸串喝酒。 ...

2019-03-25 00:17:37

阅读数 322

评论数 0

postgresql数据库表的备份与还原

postgresql数据库表的备份与还原 备份 pg_dump -U postgres -t shipping_shiptype_to_country -f ./shipping_shiptype_to_country.sql futures_data 恢复 psql -U postgres ...

2019-03-22 11:29:54

阅读数 24

评论数 0

Flink检查点失败问题-汇总

flink从检查点中恢复的问题 从检查点恢复的时候,命令 ./flink run -s hdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1 -c com.mymain.MyTestMain 报出以下错误: java.util.concurre...

2019-03-21 23:49:41

阅读数 699

评论数 0

flink检查点checkpoint失败问题总结-2

检查点checkpoint失败问题总结(2): 问题描述:检查点刚开始是可以的做checkpoint的,后期越来越不能够做checkpoint的情况总结: 一.反压问题 1.什么是反压(如下图1所示)? 图2-1 部分算子反压表现(web ui) 2.flink中反压机制是干什么的? ​ ...

2019-03-21 15:08:53

阅读数 157

评论数 1

算法:不同税率计算的个税问题

算法:不同税率计算的个税问题 1.一直银行利率,低于1000元,不用交税,超过的部分按照如下规则缴费.例如1750元工资需要缴纳个人所得税是: taxes = 1000 * 0% + 500* 1% + 250 * 2%; 或者 若为2750元工资时候, taxes = 1000 ...

2019-03-09 00:29:25

阅读数 39

评论数 0

Flink日志输出查看方式

在网上查看flink日志查看方式,竟然查询不到,因此写下这篇文章,给有此困惑的小盆友们,也给自己做个总结! 前情提要: 我是通过flink web ui提交的flink任务的,因此通过flink ui查看自身控制台打印输出的。 第一步:打开flink的Dashboard 看到TaskManag...

2019-03-08 10:28:52

阅读数 908

评论数 0

flink-on-yarn解读

相关参考资料: https://blog.csdn.net/wangweislk/article/details/79081769 【好文欣赏】 在安装和flink相关包的机器上执行如下命令 (此处已经配置好flink环境变量): 1.使用yarn-session启动相应的容器资源,初始化一个f...

2019-03-04 15:57:06

阅读数 74

评论数 0

超找最新的n个记录

超找最新的n个记录 问题描述: /** 表示一个用户行为,包含type,timestamp, info信息 */ interface Action { public String getType(); public long getTimestamp(); public String get...

2019-02-21 17:31:28

阅读数 72

评论数 0

求一个二叉树中两个节点的最近公共父节点

对树的考察在于使用递归方法(使用递归的方式) package suanfa; /**求一个二叉树中两个节点的最近公共父节点 */ public class LowestCommonAncestor { public static void main(String[] args) { //...

2019-02-19 23:53:59

阅读数 66

评论数 0

在循环左移后的有序且不重复的数组中搜索目标值x

二分查找java代码实现: package suanfa; public class Search { public static void main(String[] args) { int[] arr = {1,2,3,4,5,6}; ...

2019-02-18 00:15:46

阅读数 61

评论数 0

常见面试题总结-M

面试题总结 1.首先手写二叉树遍历(三种方法)?怎样比较两棵二叉树相等? 2.手写实现翻转链表? 3.Jvm内存模型?常用的垃圾回收算法?JVM使用的垃圾回收算法是有哪些? 4.Spark中的广播变量broadcast? 5.JAVA线程池? 6.JAVA多线程同步的方式有哪些?(常见...

2019-02-17 00:36:10

阅读数 38

评论数 0

Flink等常用考察点---

al常考面试题 1.flink是怎样保证exact-once的保证; 2.flink的checkpoint机制与恢复? 3.flink与storm对比怎么样? 4.你在使用中怎样使用flink的?源码是否已经阅读? hbase模块 2.hbase是怎样保证数据不丢失; 3.全表扫描s...

2019-02-17 00:35:02

阅读数 214

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭