- 博客(9)
- 收藏
- 关注
RSS订阅
原创 Flink状态妙用
Flink状态妙用本文主要介绍福布湿在flink实时流处理中，state使用的一些经验和心得。本文默认围观的大神已经对flink有一定了解，如果围观过程中发现了有疑问的地方，欢迎在评论区留言。1. 状态的类别1.1 从数据角度看，flink中的状态分为2种：KeyedState在按key分区的DataStream中，每个key拥有一个自己的state，换句话说，这个state能得到这个key所有的数据。结合以上的描述，不难得出以下结论，KeyState只能在KeyedStream上使用。
2020-08-10 11:12:50
675
1
原创 HIVE ACID（UPDATE、DELETE等事务操作）的限制
BEGIN,COMMIT, ROLLBACK语义目前还不支持。当前事务都是自动提交。这些语义后期会支持 当前版本，只支持ORC格式的hive表 事务的默认配置都是不开启的，需要手动开启。hive的配置链接在这里。 目前只支持桶表。不支持外部表。 不能在非ACID Session对事务表进行读写操作。也就是说，hive的transaction manager必须设置为org.apache.hadoop.hive.ql.lockmgr.DbTxnManager才能对事务表进行读写操作。 The ex.
2021-03-31 15:32:33
433
原创 解决org.apache.rat:apache-rat-plugin:0.8:check (default) on project hbase: Too many unapproved license
这是由于过多文件没有license造成的，当文件数量少的时候，自己添加相应的证书，就是在第一行添加一下注释：/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regardi..
2021-03-17 18:07:47
1200
原创 flink部署模式
flink部署模式\X001 Flink架构\X002 flink部署模式flink部署模式分为3种：application模式app的main()运行在jobmanger上。只能运行一个Job，job运行完后jobmanager关闭了。preJob模式app的main()运行在client上，可以运行多个Job，AsyncJob不需要等待上一个Job完成，就可以直接开始运行，所有Job完成后，jobmanger就关闭了。session模式app的main()运行在client上，jo
2021-01-21 18:01:34
288
原创 使用条件分布模态流进行多变量概率时序预测
使用条件分布模态流进行多变量概率时序预测译者的话时序预测是一个古老的话题。有许多基于数理统计的经典算法曾经大放异彩。但随着大数据时代的到来，数据量的急剧增长以使得传统的分析方式在可行性上已初现窘迫，在预测精度及预测步长上也难以满足当代社会的需求，在时序数据表征的随机性太强的情形下，各种假设更是失去了效力。因此这种end-to-end的深度学习时序预测方法应运而生，2018年至今短短数年，便是红火如斯。从ARIMA、faceBook的Prophet、再到LSTM、DeepAR多个技术选型的更改皆是因为预
2020-12-28 11:29:45
1051
原创 怎么训练出一个NB的Prophet模型
怎么训练出一个NB的Prophet模型上篇《神器の争》主要是介绍Prophet的特点以及prophet入门的一些注意事项，但离真正的实际运用还有段距离。本篇主要讲解实际运用中Prophet调参的主要步骤以及一些本人实际经验。参数理解篇class Prophet(object): def __init__( self, growth='linear', changepoints=None, n_cha
2020-08-10 11:02:47
899
1
原创 datatables dom 的简单使用
废话少说，直接贴出dom的官方用法Datatables会添加一些控制元素在表格的周围，比如默认状态下改变每页显示条数（l）的空间在左上角，即使搜索框（f）在右上角，表格的信息（i）显示在左下角，分页控件（p）显示在右下角。 这些控件在给大家带来便利的同时，也可能出现困惑。比如我想把l放在i的后面，我想表格的上下都有p，我想加入自己的控件放在l的后面……这些太多了，那么下面就给大家介绍怎
2016-09-22 17:41:54
4190
3
原创 org.hibernate.InvalidMappingException: Unable to read XML 错误分析
出现这类错误的原因一般是XXX.hbm.xml配置文件出了问题问题大致分为2中情况1."http://www.hibernate.org/dtd/hibernate-mapping-3.0.dtd "> Mapping file autogenerated by MyEclipse Persistence Tools-->这部分代码中由于COPY的时候
2016-07-26 10:15:30
903
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人