学习笔记
Resemble_
一只程序猿的奇思妙想
github: https://github.com/Resemble
展开
-
Hbase学习笔记
Hbase适合需对数据进行随机读操作或者随机写操作、大数据上高并发操作,比如每秒对PB级数据进行上千次操作以及读写访问均是非常简单的操作。每个Regin是一个切片,多个Regin归一个ReginServer管经常一起用的列放到一个family里面KV如何组织很灵活HFile写HDFS,容量是Hadoop的集群决定构建在HDFS之上的、分布式的、面向列的开源数据库。只有普通的增删改查等操作,没有表之间的关联查询。高效1.1 将随机读写转化为顺序读写,适应高并发写入。1.2 均衡效果好读写性转载 2020-06-11 23:50:58 · 365 阅读 · 0 评论 -
学习笔记-spark
概念job:在里面可以看到当前应用分析出来的所有任务,以及所有的excutors中action的执行时间。stage:在里面可以看到应用的所有stage,stage是按照宽依赖来区分的,因此粒度上要比job更细一些。从作业调度角度展示调度的阶段和任务的完成装填storage:我们所做的cache persist等操作,都会在这里看到,可以看出来应用目前使用了多少缓存。从存储角度展示RDD的存储状态environment:里面展示了当前spark所依赖的环境,比如jdk,lib等等。spark以及系统转载 2020-05-24 10:05:50 · 461 阅读 · 0 评论 -
学习笔记-zookeeper
Zookeeper是一个分布式协调服务。https://km.sankuai.com/page/28437097去中心化:我们都是相等的中心化:Zookeeper 都是中心化的,围绕 leaderZookeeper 如何解决分布式一致性问题ZAB协议,底层两阶段提交协议选举算法:Paxos 算法应该可以说是 ZooKeeper 的灵魂了。但是,ZooKeeper 并没有完全采用 Paxos算法 ,而是使用 ZAB 协议作为其保证数据一致性的核心算法。另外,在ZooKeeper的官方转载 2020-05-23 11:25:03 · 491 阅读 · 0 评论