- 博客(6)
- 资源 (24)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 CDH5.16.2-Flink1.10.1-parcel制作
一.简介CDH除了能够管理自生所提供的一些大数据相关服务外，还允许将第三方服务添加到CDH集群（托管在CDH上）。你需要做的就是按照一定的规则流程制作相关程序包，最后发布到CDH上。虽然过程并不困难，但是手动操作尤其是一些关键配置容易出错，往往导致最终服务无法正常在CDH上安装运行。二.cm_exturl : https://github.com/cloudera/cm_ext.gitvalidator 验证csd和parcelvalidator(验证器) 重新编译 mvn clean packa
2020-07-28 20:58:59
1718
4
原创 链表的常见问题
链表指针转动，很容易转晕，介绍其中有几个常见的技巧。一.指针/引用含义指针/引用，实际上都是存储所指对象内存。将某个变量赋值给指针，实际上就是将这个变量的地址赋值给指针，或者反过来说，指针中存储了这个变量的内存地址，指向了这个变量，通过指针就能找到这个变量。二.指针丢失和内存泄漏插入节点时，注意操作顺序。删除节点时，注意释放空间。三.哨兵哨兵结点的链表叫做带头链表，这样节省判断head == null四.边界条件如果链表为空时，代码是否能正常工作？如果链表只包含一个结点时，代码是否能
2020-07-18 18:28:43
1866
原创 开源数据交换（client）
文章目录一.项目简介二.编译部署2.1 客户端三.快速使用3.1 客户端四.底层已支持计算存储引擎4.1 客户端五.架构六.开发规范6.1 客户端传参规范6.2 测试用例七.问题八.总结一.项目简介exchange是要打造一个轻量级，高扩展性的数据交换平台，支持对结构化及无结构化的异构数据源之间的数据传输，在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性，而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。exchange的传输能力依赖于Apache Beam链路计
2020-07-14 15:47:45
2466
2
原创 单链表LRU算法
一.简介链表在初始化时仅需要分配一个元素的存储空间，并且插入和删除新的元素也相当便捷，同时链表在内存分配上可以是不连续的内存，也不需要做任何内存复制和重新分配的操作，由此看来顺序表的缺点在链表中都变成了优势，实际上也是如此，当然链表也有缺点，主要是在访问单个元素的时间开销上。二.LRU缓存是一种提高数据读取性能的技术，在硬件设计、软件开发中都有着非常广泛的应用，比如常见的 CPU 缓存、数据库缓存、浏览器缓存等等。缓存的大小有限，当缓存被用满时，哪些数据应该被清理出去，哪些数据应该被保留？这就需要缓
2020-07-12 05:10:32
1481
1
原创 Pregel模型原理
一.图简介图数据结构可以很好的展示关联关系，关联性计算是大数据计算核心，Pregel是一种基于BSP模型实现的并行图处理系统。主要用于图遍历（BFS）、最短路径（SSSP）、PageRank计算等等计算。二.模型2.1 简介Pregel计算模型，输入是一个有向图，该有向图每个顶点（Vertex）是唯一，每个顶点都有属性，这些属性可以被修改，其初始值由用户定义，边也有属性，与顶点关联。消息（Message），消息是Pregel计算模型的核心。每个 Vertex 在初始状态以及之后的每一个计算步骤当中
2020-07-12 04:11:29
1399
原创 cdh5.16 重新编译flink1.10
一.简介Flink 1.10.0 正式宣告发布！作为 Flink 社区迄今为止规模最大的一次版本升级，Flink 1.10 容纳了超过 200 位贡献者对超过 1200 个 issue 的开发实现，包含对 Flink 作业的整体性能及稳定性的显著优化、对原生 Kubernetes 的初步集成以及对 Python 支持（PyFlink）的重大优化。Flink 1.10 同时还标志着对 Blink[1] 的整合宣告完成，随着对 Hive 的生产级别集成及对 TPC-DS 的全面覆盖，Flink 在增强流式
2020-07-06 16:43:20
652
hadoop-2.6.1.zip
2020-06-16
plsql developer 11.zip
2019-07-22
《Spark GraphX实战》_时金魁.pdf
2019-06-30
自定义rpc框架
2018-09-29
大数据时代总结
2018-08-05
数学分析三大基本思想之分解
2018-08-05
数学分析三大基本思想之逼近
2018-08-05
js通用方法
2018-04-01
redis详细笔记
2016-10-04
推荐：数据中台-协作流程
2021-08-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人