大数据
文章平均质量分 94
harbby
这个作者很懒,什么都没留下…
展开
-
spark 开发中的那些事1-之编程模型
一, 简介 Spark是一个用来实现快速而通用的集群内存计算的平台。扩展了广泛使用的MapReduce计算模型,而且高效地支持更多的计算模式,包括交互式查询和流处理。 随着时间推移开始被大家逐渐熟知和普及,很长一段时间几乎就是大数据代言词。 二,前言 本文旨在帮助大家整理一些开发中常见的坑和误区,帮助大家进行整理和总结,降低刚接触的大数据开发朋友的开发难度. 对于算子和api大家在开发中参考官网文...原创 2018-12-18 18:31:29 · 281 阅读 · 0 评论 -
hbase-admin表操作源码跟踪
简介 habse表相关操作,命名空间操作,region操作等涉及到元信息修改的ddl操作全等部都是通过HMaster角色进行。 我们可以通过java hbase-client模块或linux hbase-shell和HMaster打交道进行相关ddl操作。 通信原理 hbase client(hbase-shell)和HMaster(HRegionServer)之间使用rpc进行通信,相关接口通信...原创 2019-07-24 17:54:23 · 243 阅读 · 0 评论