自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

m0_50538648的博客

  • 博客(3)
  • 资源 (3)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 Flink状态管理

Flink状态管理State分类：ManagedState:被Flink管理的State,Flink对他有自己的管理和优化,绝大多数情况适用，RawState:需要手动管理…自定义Operator的时候需要，KeyedState：分组操作、OperatorState：有无分组的Operator都可以用；KeyedState：/** * 需求:使用KeyedState维护历史状态(历史值),获取输入数据的最大值 * 注意:我们只是为了演示KeyedState,实际中可以直接使用Flink提供好

2020-09-08 15:05:02 146

原创 Flink内存管理

Flink内存管理1.1问题引入Flink本身基本是以Java语言完成的，理论上说，直接使用JVM的虚拟机的内存管理就应该更简单方便，但Flink还是单独抽象出了自己的内存管理因为Flink是为大数据而产生的，而大数据使用会消耗大量的内存，而JVM的内存管理管理设计是兼顾平衡的，不可能单独为了大数据而修改，这对于Flink来说，非常的不灵活，而且频繁GC会导致长时间的机器暂停应用，这对于大数据的应用场景来说也是无法忍受的。JVM在大数据环境下存在的问题:1.Java 对象存储密度低。在HotSpo

2020-09-03 15:02:25 373

原创 Spark内存管理

Spark内存管理1.1.堆内内存和堆外内存1.1.1.堆内内存(on-heap)在JVM堆上分配的内存，在JVM垃圾回收GC范围内①：Driver堆内存：通过–driver-memory 或者spark.driver.memory指定，默认大小1G；②：Executor堆内存：通过–executor-memory 或者spark.executor.memory指定，默认大小1G在提交一个Spark Application时，Spark集群会启动Driver和Executor两种JVM进程。

2020-09-03 14:56:25 2613

挖掘类标签开发案例_.mp4
挖掘类标签即算法类标签，需要用算法挖掘用户相关特征。 挖掘类标签开发环节包括：①用户行为特征工程开发、②算法调优、③上线工程化调度等环节，开发周期较长。

2020-09-03

搭建虚拟机开发环境及节点间互信.mp4
搭建虚拟机开发环境及节点间互信 共享目录     说明：同步宿主主机文件到虚拟机：         官网文档位置：https://www.vagrantup.com/docs/synced-folders/basic_usage.html         Windows配置用SMB配置共享目录         官网文档位置：https://www.vagrantup.com/docs/synced-folders/smb.html         LinuxNFS：https://www.vagrantup.com/docs/synced-folders/nfs.html

2020-09-03

机器学习经典算法视频
转，大数据经典算法视频，PageRank，K-Means算法，.CART:分类与回归树，C4.5，最大期望(EM)算法

2020-09-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除