自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

fct2001140269的博客

如今你的气质里,藏着你走过的路,读过的书和爱过的人。” ——《卡萨布兰卡》

  • 博客(9)
  • 资源 (4)
  • 收藏
  • 关注

原创 Could not initialize keyed state backend--Flink恢复失败

Flink从checkpoint中恢复时候出现如下错误 Could not initialize keyed state backendMap (5/5)Timestamp: 2019-03-26, 13:41:53 Location: hd6:41889java.lang.IllegalStateException: Could not initialize keyed state bac...

2019-03-26 14:43:56 483

转载 Flink常见的关键技术与特性详解

转载:http://bigdata.51cto.com/art/201702/531036.htm Flink常见的关键技术与特性详解 Flink项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性,希望能够帮助读者对Fli...

2019-03-26 00:22:50 215

转载 为什么有人的人生跟开了挂一样?

转载知乎:《为什么有人的人生跟开了挂一样》知乎超10000赞文章!为什么有人的人生跟开了挂一样?Aug.25灼见(微信号:penetratingview)作者丨另维来源丨另维和Yellow01活到这个年纪,最该自己做决定的事都被爸妈决定了发小离婚了,27岁。我们陪他撸串喝酒。他衬衫不合身,大肚便便,头皮屑若隐若现,已经有了油腻中年的征兆。不仔细看,真看不出他是个五官精致,瘦下...

2019-03-25 00:17:37 507

原创 postgresql数据库表的备份与还原

postgresql数据库表的备份与还原备份pg_dump -U postgres -t shipping_shiptype_to_country -f ./shipping_shiptype_to_country.sql futures_data恢复 psql -U postgres -d futures_data_online -f ./shipping_shiptype_to_co...

2019-03-22 11:29:54 1554

原创 Flink检查点失败问题-汇总

flink从检查点中恢复的问题从检查点恢复的时候,命令 ./flink run -s hdfs://192.xxx.xxx.xx:port/data1/flink/checkpoint1 -c com.mymain.MyTestMain报出以下错误:java.util.concurrent.CompletionException: org.apache.flink.util.FlinkExc...

2019-03-21 23:49:41 5460

原创 flink检查点checkpoint失败问题总结-2

检查点checkpoint失败问题总结(2):问题描述:检查点刚开始是可以的做checkpoint的,后期越来越不能够做checkpoint的情况总结:一.反压问题1.什么是反压(如下图1所示)?图2-1 部分算子反压表现(web ui)2.flink中反压机制是干什么的?​ flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度...

2019-03-21 15:08:53 5292 3

原创 算法:不同税率计算的个税问题

算法:不同税率计算的个税问题1.一直银行利率,低于1000元,不用交税,超过的部分按照如下规则缴费.例如1750元工资需要缴纳个人所得税是:taxes = 1000 * 0% + 500* 1% + 250 * 2%;或者若为2750元工资时候,taxes = 1000 * 0% + 500* 1% +500 * 2% + 500* 3%+250* 3%;输入:工资额输出:需要缴...

2019-03-09 00:29:25 254

原创 Flink日志输出查看方式

在网上查看flink日志查看方式,竟然查询不到,因此写下这篇文章,给有此困惑的小盆友们,也给自己做个总结!前情提要:我是通过flink web ui提交的flink任务的,因此通过flink ui查看自身控制台打印输出的。第一步:打开flink的Dashboard看到TaskManager的控制面板之后,点击右侧的具体job所在的taskManager主机进入如下界面,点迹Stdou...

2019-03-08 10:28:52 21358 15

原创 flink-on-yarn解读

相关参考资料: https://blog.csdn.net/wangweislk/article/details/79081769 【好文欣赏】在安装和flink相关包的机器上执行如下命令 (此处已经配置好flink环境变量):1.使用yarn-session启动相应的容器资源,初始化一个flink集群HADOOP_HOME=/hadoop/hadoop-2.7.2/ HADOOP_C...

2019-03-04 15:57:06 235

kafka+flume+kafka中问题.pdf

flume从kafka读取数据,然后再sink到kafka中, 这种场景下会出现问题。 (1)现象表示为: flume从kafka读取数据,sink的sinkTopic中没有数据,也无法从sinkTopic中读取数据; (2)原因分析: 如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会遇到Kafka Topic覆盖问题,具体 表现为,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标Topic不起作用,数据仍然 会被写入到Source中指定的Topic中。

2019-07-12

aws-general.pdf

AWS 一般参考 这是 Amazon Web Services 一般参考。 内容 • AWS 区域和终端节点 (p. 2) • AWS 安全凭证 (p. 160) • Amazon 资源名称 (ARN) 和 AWS 服务命名空间 (p. 174) • 签署 AWS API 请求 (p. 212) • AWS 服务限制 (p. 248) • AWS 的 IP 地址范围 (p. 332) • AWS 中的错误重试和指数退避 (p. 340) • AWS 开发工具包对 Amazon S3 客户端加密的支持 (p. 342) • 需要 AWS 账户根用户凭

2019-07-12

Spark基本原理与设计思想

Spark是一个通用的并行计算框架,由加州伯克利大学(UC Berkeley) 的AMP实验室开发于2009年,并于2010年开源,2013年成长为Apache旗下在大数据领域最活跃的开源项目之一。 虽然Spark是一个通用的并行计算框架,但是Spark本质上也是一个基于map-reduce算法模型实现的分布式计算框架,Spark不仅拥有了Hadoop MapReduce的能力和优点,还解决了Hadoop MapReduce中的诸多性能缺陷。

2018-10-20

下一代消息中间件--pulsar

Apache Pulsar是一个企业级的分布式消息系统,最初由Yahoo开发并在2016年开源,目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多,主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。

2018-10-20

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除