2018年10月_aydnwba6940

转载 HBase篇(2)-数据模型与操作

HBase其实就是一个数据库，无非就是存储和增删改查，那我们先从数据模型说起把这里有一张表，是用关系型数据库的思维画出来的表，这样比较易于理解：概念Table（表格）没啥说的，和关系型数据库一样，由多行组成Row（行）包含一个key和一个或者多个列。行按照RowKey字典序存储在表格中。Column Family（列族）可以理解为一组列的集合，HBase官方建议尽...

2018-10-26 09:09:00 199

转载从面试官的角度谈谈大数据面试

关于传授面试经验的文章太多了，眼花缭乱，我这里就不谈了，点进来想获取几吨面试学习资料的同学，抱歉让你失望了。（我是真的找不到那么多资料...）。所以，今天我们只聊面试官。作为一只老鸟，我的面试经验还算丰富，无论是作为面试者还是面试官。其实这篇对于面试者来说也是有意义的，毕竟知己知彼，百战不殆，知道对方会从哪些方面问问题，从哪些方面考核，才能更好地提前做好准备。首先，我觉得面试官有...

2018-10-22 09:21:00 841

转载 HBase篇(1)-特性与应用场景

【每日五分钟搞定大数据】系列，HBase第一篇结束了Zookeeper篇，接下来我们来说下Google三驾马车之一BigTable的开源实现：HBase，要讲的内容暂定如下：这是第一篇我们先不聊技术实现，只讨论特性和场景hbase的特点千万级高并发PB级存储非结构化存储动态列，稀疏列支持二级索引强一致性，可靠性，扩展性（CP系统，可用性做了一点让步）场...

2018-10-18 09:27:00 264

转载 zookeeper-如何修改源码-《每日五分钟搞定大数据》

本篇文章仅仅是起一个抛砖迎玉的作用，举一个如何修改源码的例子。文章的灵感来自 ZOOKEEPER-2784。提一个问题先之前的文章讲过zxid的设计，我们先复习下：zxid有64位，分成两部分：高32位是Leader的epoch：选举时钟，每次选出新的Leader，epoch累加1低32位是在这轮epoch内的事务id：对于用户的每一次更新操作集群都会累加1。这么设...

2018-10-15 09:14:00 265

转载 zookeeper-监控与优化-《每日五分钟搞定大数据》

本文的命令和配置都是基于zookeeper-3.4.6版本。优化很多时候都是基于监控的，所以把这两个内容写在了一起，慢慢消化。监控简单地说，监控无非就是获取服务的一些指标，再根据实际业务情况给这些指标设定一个合适的阈值，然后进行告警的一个过程。如何获取这些指标？ZooKeeper 提供了四字命令(The Four Letter Words)，用来获取 ZooKeeper 服...

2018-10-11 11:01:00 307

转载 zookeeper-分布式锁的代码实现-【每日五分钟搞定大数据】

本文涉及到几个zookeeper简单的知识点，永久节点、有序节点、watch机制。比较基础，熟悉的就别看了跳过这篇吧每个线程在/locks节点下创建一个临时有序节点test_lock_0000000040获得/locks节点下所有子节点A、B、C，排序获得最小值若当前节点B为最小值则获得锁，执行业务逻辑若当前节点B不是最小值则watch比自己小1的节点A，节点A存在则aw...

2018-10-09 09:18:00 114

转载大数据不就是写SQL吗?

应届生小祖参加了个需求分析会回来后跟我说被产品怼了一句："不就是写SQL吗，要那么久吗"我去，欺负我小弟，这我肯定不能忍呀，于是我写了一篇文章发在了公司的wiki贴出来给大家看看，省略了一些敏感的内容。当然内部版言辞也会温和一点，嘻嘻在哪里写SQL？这个问题高级点的问法是用哪种SQL引擎？SparkSQL、Hive、Phoenix、Drill、Impala、Pres...

2018-10-08 08:54:00 343

aydnwba6940的博客