- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 apache beam入门之输入输出SDK调用（批处理)
目录：apache beam 个人使用经验总结目录和入门指导（Java）众所周知数据处理分批处理和流处理，beam是基于底层计算引擎并支持2者的。 这一章先只介绍批处理的几种数据输入方式，即一次性全部输入全部数据的方式。内存输入数据内存输入方式之前介绍过了，可以通过组装Create类进行内存输入PCollection<String> pcStart = pipeline.apply( Create.of( "HELLO！",
2020-05-30 17:53:45
813
原创 apache beam 入门之pipeline管道
目录：apache beam 个人使用经验总结目录和入门指导（Java）编写beam程序的本质就是对pipeline管道进行创建和组装，最后再运行。pipeline的创建pipeline可以通过option创建。Pipeline pipeline = Pipeline.create(option);也可以先创建无option的管道， 之后再用不同赋值的option去运行Pipeline pipeline = Pipeline.create();........pipeline.run(o
2020-05-30 17:49:57
787
原创 apache beam 个人使用经验总结目录和入门指导（Java）
根据个人一年来使用apache beam的经验， 简单写了一批apache beam的入门文章，以便提供给希望快速上手的同事们使用， 范围暂时只基于自己所接触过的部分， 如果需要更详细地了解apache beam， 需要去beam的官网以及官方文档中去探索。以下使用指导基于java，同时范围只涉及本人一年来的使用经历，并不全面，希望全面深入了解的话请参考官方使用手册和源码注释apache beam介绍初识 apache beamapache beam 入门使用apache beam入门之初次使用
2020-05-30 17:48:41
2520
6
原创 apache beam入门之程序入口——PipelineOption
前置章节apache beam入门宝典之初次使用从第一章里我们看到最开始需要生成1个PipelineOption,然后才能生成1个Pipeline， 而这个所谓的option用处是将可以将程序输入的args数组转成1个PipelineOption对象， 然后就能直接从里面进行get和set操作了，不需要自己再去编写输入参数转化相关的实体类。简单应用例子我们直接先以例子入手，先自定义1个MyTestOption类public interface MyTestOption extends Pipelin
2020-05-28 19:43:15
940
原创 动态规划到底是怎么想到的？
以后不定期更新一些算法方便自己的思考和总结。相信大家练习可信上机题时，经常会发现题解里写着“动态规划”，里面一上来就是一个复杂的dp公式，对于新人来说除了说声剩下就是疑惑，他是怎么想到这个公式的？我能想到吗？这玩意工作中有用吗？加上“动态规划”这高端的名字，然后就劝退了不少试图去理解他的人。动态规划听起来太吓人，可以换个说法我在内心更喜欢叫他“状态缓存”如果是服务开发，相信很熟悉这个词语， 利用缓存来加快一些重复的请求的响应速度。而这个缓存的特点是 和其他缓存有所关联。比如我们的服务要
2020-05-28 19:34:16
516
1
原创 apache beam入门之初次使用
beam入门宝典之初次使用咱们不多废话，先直接来如何简单使用beam框架。这里我不使用常见的wordCount做例子，而是一个大写转小写的例子,语言选用java语言这个例子里我们会初步学到：如何建立管道如何手动生成数据如何转换如何查看输出首先我们要新建1个maven工程，然后在pom.xml中加入如下依赖:<dependency> <groupId>org.apache.beam</groupId> <artifactId>beam-
2020-05-27 22:51:46
1773
原创 初始apache beam
apache beam的使用背景大数据项目一定会涉及数据处理和计算， 就会涉及到选用哪种计算工具， 摆在面前的有spark、flink、mapreduce、Google Cloud Dataflow等等诸多选择， 如果以同一种计算逻辑去切换计算引擎，就要重新修改里面的API，并调整使用细节，非常不方便。因此就出现了1个整合这些计算资源的解决方案：apache beamBeam是1个统一的编程框架，支持批处理和流处理， 并可以将用beam写出来的程序，在多个计算引擎上去运行。以下是bema当前可支持的
2020-05-27 22:46:27
443
原创 图解java虚拟机之内存分配和垃圾收集
根据《深入理解java虚拟机》一书所作的笔记和图。绘图不易，转载请注明出处引用计数法的缺陷可能存在循环引用， 例如A = B 和B =A ， 实际上已经没有再使用他们这2个了，但是依然不会被认为已死可达性分析算法：给定1个GC ROOT对象， 然后判断某个对象能否到达gcRoot这个顶点 ，达不到则认为时可回收。GC ROOT对象： 虚拟机栈引用的对象、 类静态属性引用方法区的回收4种垃圾收集的方法垃圾收集的运行流程多种垃圾收集器的演变图对象在新生代和老生代的之前的转
2020-05-19 01:09:57
117
原创 重新开始
回到满尘的房屋自从工作后没什么时间再像大学那样写博客了，等回来时发现已经满屋子的蜘蛛网和灰尘了。之所以之前不想再写博客，是因为除了oj题，其他都只是读书笔记，没有什么有价值的东西，看我的笔记，他们不如自己去看书，同知识类型也有比我写得更好的博主。重新开始但这2年发现还是有人陆续光顾并留言，说明还是有人看的。曾经考虑过是否换地方，但我是恋旧的人， 不太舍得以前自己写的那些东西，那么就在这里打扫下屋子，重新开始吧规划初步先把自己everNote里的笔记逐步 同步到博客，后续再考虑一些原创性质的文
2020-05-18 00:02:12
141
unp.h源码（CentOS上可无错编译）
2018-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人