2018年04月_zhifeng687

09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Apache Kylin在美团点评的应用

美团点评的OLAP需求大体分为两类：即席查询：指用户通过手写SQL来完成一些临时的数据分析需求。这类需求的SQL形式多变、逻辑复杂，对响应时间没有严格的要求。固化查询：指对一些固化下来的取数、看数的需求，通过数据产品的形式提供给用户，从而提高数据分析和运营的效率。这类需求的SQL有固定的模式，对响应时间有比较高的要求。我们针对即席查询提供了Hive和Presto两个引擎。而固化查询由于需要秒级响...

2018-04-25 15:45:05 1681

翻译 redis cluster的raft算法选主流程

5. Redis Cluster 故障转移上面已经介绍过单机模式的故障转移（主节点下线后，对应从节点升主并替代原主节点继续工作）过程，单机模式下故障转移需要 Sentinel 系统的辅助，与之不同，Redis 集群模式故障转移并不需要 Sentinel 系统辅助，而是通过集群内部主节点选举完成，是一个“自治”的系统。Redis Cluster 的故障转移可划分为三大步骤：故障检测、从节点选举以及故障倒换，以下详细介绍。5.1 故障检测故障检测需要经历单节点视角检测、检测信息传播、下线判决三个

2018-04-24 18:33:13 2127

转载 ElasticSearch 7.x的raft算法选主流程

简介7.x之后的ES，采用-种新的选主算法Raft [rɑːft] n. 筏；救生艇。Raft算法选主流程其设计原则如下：容易理解减少状态的数量，尽可能消除不确定性在Raft中，节点可能的状态有三种，其转换关系如下：正常情况下，集群中只有一个Leader，其他节点全是Follower。Follower 都是被动接收请求，从不主动发送任何请求。Candidate [ˈkændɪdət; ˈkændɪdeɪt] n. 候选人，候补者；应试者是从Follower到Leader的中.

2018-04-24 16:17:17 1281

原创 cdh5安装报错解决

1、Exhausted available authentication methods ubuntu未激活root用户，或者激活root用户后未允许可远程登录root 用户参考stackoverflow:Cloudera Manager Failed to authenticate : Exhausted available authentication methods ...

2018-04-22 23:56:07 7423 1

原创 Ubuntu 16.04主机之间ssh免密码登录

使用A机（192.168.1.8）和B机（192.168.1.7）以A 机为例，使A机的lizhifeng用户可以免密码登录B机的lizhifeng用户：安装ssh：sudo apt-get install ssh 以下在A机的lizhifeng用户模式下操作：2、在A机上生成公钥和私钥，输入命令，提示直接按enter就行了 ssh-keygen -t rsacd ~/.ssh就会发现多了如下文...

2018-04-22 12:32:28 462

转载 ps -ef | grep 命令查看指定服务是否启动

ps命令支持三种使用的语法格式 UNIX 风格，选项可以组合在一起，并且选项前必须有“-”连字符 BSD 风格，选项可以组合在一起，但是选项前不能有“-”连字符 GNU 风格的长选项，选项前有两个“-”连字符列出目前所有的正在内存当中的程序• USER：该进程属于那个使用者账号的？• PID ：该进程的进程ID号。• %CPU：该进程使用掉的 CPU 资源百分比；•...

2018-04-20 22:56:16 10568 1

转载 Zookeeper的ZAB算法选主流程

5.4 验证：leader选举过程Leader选举是zookeeper最重要的技术之⼀，也是保证分布式数据⼀致性的关键所在。当Zookeeper集群中的⼀台服务器出现以下两种情况之⼀时，需要进⼊Leader选举。服务器初始化启动服务器运⾏期间⽆法和Leader保持连接下⾯就两种情况进⾏分析讲解。5.4.1 服务器启动时期的Leader选举若进⾏Leader选举，则⾄少需要两台机器，这⾥选取3台机器组成的服务器集群为例。在集群初始化阶段，当有⼀台服务器Server1启动时，其单独⽆法

2018-04-18 10:47:18 418

转载分布式选举算法-- Bully、Raft和ZAB

集群一般是由两个或两个以上的服务器组建而成，每个服务器都是一个节点。数据库集群、管理集群...数据库集群提供了读写功能，管理集群提供了管理、故障恢复等功能。对于一个集群来说，多个节点的协同和管理是非常重要的。而主节点则实现了协同和管理，主节点的存在，就可以保证其他节点的有序运行，以及数据库集群中的写入数据在每个节点上的一致性。这里的一致性是指，数据在每个集群节点中都是一样的，不存在不同的情况。分布式选举的作用就是选出一个主节点，由它来协调和管理其他节点，以保证集群有序运行和节点间数据的一致性。.

2018-04-17 17:52:02 1260

转载 KAFKA：百万级吞吐量原理

转自：https://blog.csdn.net/dshf_1/article/details/81044990kafka初衷企业统一，高通量，低延迟。Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万...

2018-04-17 12:49:47 4587

转载电商后台产品设计：订单拆单

拆单也有两个层次，第一次是在提交订单后支付之前拆单，这次是拆分的订单，一次是在下单之后，发货之前，去拆分发货单（SKU层面）。两次拆单的原则不同，第一次拆单是为了区分平台商家、方便财务结算，第二次拆单是为了按照最后的发货包裹进行拆单，如不同仓库、不同运输要求的SKU、包裹重量体积限制等因素（第二次拆单的有些步骤可以放在第一步）。需要注意的是，若是跨境商品平台，则需要在支付前完成所有拆单步骤，因为报关需要三单对碰，订单、支付单、运单统一。1. 为什么要拆单拆单，顾名思义就是客户在下单之后，为了

2018-04-17 11:00:42 974

转载 Linux查看当前占用CPU或内存最多的K个进程

一、可以使用以下命令查使用内存最多的K个进程方法1：ps -aux | sort -k4nr | head -K如果是10个进程，K=10，如果是最高的三个，K=3说明：ps -aux中（a指代all——所有的进程，u指代userid——执行该进程的用户id，x指代显示所有程序，不以终端机来区分） ps -aux的输出格式如下：USER PID...

2018-04-17 10:21:51 227

转载详解HDFS Short Circuit Local Reads

详解HDFS Short Circuit Local ReadsHadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此，Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“Local Reads”。最初设计的时候，这种Local Reads和Remote...

2018-04-16 23:15:47 361

转载 systemd详解

传统的Linux系统启动过程主要由著名的init进程（也被称为SysV init启动系统）来处理，而基于init的启动系统被认为有效率不足的问题，systemd是Linux系统机器的另一种启动方式，宣称弥补了以传统Linux SysV init为基础的系统的缺点；Systemd是用来启动守护进程，已成为大多数发行版的标准配置,学完systemd命令后，你会发现systemd很强大。systemd的...

2018-04-16 22:53:32 861

原创 hbase伪分布式安装

开发环境ubuntu 16.04.4 hadoop-2.9.0zookeeper-3.4.10hbase-1.2.6安装配置1、本地安装好hadoop-2.9.0和zookeeper-3.4.10hadoop-2.9.0的core-site.xml配置如下：<configuration> <property> <name>fs.defa...

2018-04-11 17:45:30 1644

转载 AQS同步器的实现原理

转载自：AQS同步器的实现原理1.什么是AQS? AQS的核心思想是基于volatile int state这样的volatile变量，配合Unsafe工具对其原子性的操作来实现对当前锁状态进行修改。同步器内部依赖一个FIFO的双向队列来完成资源获取线程的排队工作。2.同步器的应用　同步器主要使用方式是继承，子类通过继承同步器并实现它的抽象方法来管理同步状态，对同步状态的修改或者访问主要通...

2018-04-04 19:44:24 578

转载 HBase的Region机制

转载自：HBase的Region机制 HBase 的机制里包含了许多优秀的算法，如 Region 定位、Region 分配、Region Server的上线和下线、Master 的上线和下线。在谈到这些之前，先把 HBase 的基本架构里的一些概念列在这里。一、HBase组成1.Client：利用 RPC 机制与 HMaster 和HRegionServer通信；2.Zookeeper：协调...

2018-04-04 14:41:21 13110

转载 HBase的put流程源码分析

https://blog.csdn.net/bryce123phy/article/details/51279878hbase是一个nosql型数据库，本文我们会分析一下客户的数据是通过什么样的路径写入到hbase的。HBase作为一种列族数据库，其将相关性较高的列聚合成一个列族单元，不同的列族单元物理上存储在不同的文件（HFile）内。一个表的数据会水平切割成不同的region分布在集群中不同...

2018-04-04 11:09:20 1876

原创 yarn3.2源码分析之NM与RM的通信和心跳调度

概述ResourceTracker是ResourceManager与NodeManager通信使用的RPC协议。基于ResourceTracker，NodeManager可完成向ResourceManager注册、周期性心跳汇报工作，并在周期性心跳汇报中领取RM下达的命令，比如重新初始化、清理 Container等。在这个过程中，NM扮演的是RPC client的角色，而RM扮演的是RPC s...

2018-04-04 10:58:24 1221