自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 资源 (10)
  • 问答 (1)
  • 收藏
  • 关注

转载 Apache Kylin在美团点评的应用

美团点评的OLAP需求大体分为两类:即席查询:指用户通过手写SQL来完成一些临时的数据分析需求。这类需求的SQL形式多变、逻辑复杂,对响应时间没有严格的要求。固化查询:指对一些固化下来的取数、看数的需求,通过数据产品的形式提供给用户,从而提高数据分析和运营的效率。这类需求的SQL有固定的模式,对响应时间有比较高的要求 。我们针对即席查询提供了Hive和Presto两个引擎。而固化查询由于需要秒级响...

2018-04-25 15:45:05 1681

翻译 redis cluster的raft算法选主流程

5. Redis Cluster 故障转移上面已经介绍过单机模式的故障转移(主节点下线后,对应从节点升主并替代原主节点继续工作)过程,单机模式下故障转移需要 Sentinel 系统的辅助,与之不同,Redis 集群模式故障转移并不需要 Sentinel 系统辅助,而是通过集群内部主节点选举完成,是一个“自治”的系统。Redis Cluster 的故障转移可划分为三大步骤:故障检测、从节点选举以及故障倒换,以下详细介绍。5.1 故障检测故障检测需要经历单节点视角检测、检测信息传播、下线判决三个

2018-04-24 18:33:13 2127

转载 ElasticSearch 7.x的raft算法选主流程

简介7.x之后的ES,采用-种新的选主算法Raft [rɑːft] n. 筏;救生艇。Raft算法选主流程其设计原则如下:容易理解 减少状态的数量,尽可能消除不确定性在Raft中,节点可能的状态有三种,其转换关系如下:正常情况下,集群中只有一个Leader,其他节点全是Follower。Follower 都是被动接收请求,从不主动发送任何请求。Candidate [ˈkændɪdət; ˈkændɪdeɪt] n. 候选人,候补者;应试者 是从Follower到Leader的中.

2018-04-24 16:17:17 1281

原创 cdh5安装报错解决

1、Exhausted available authentication methods ubuntu未激活root用户,或者激活root用户后未允许可远程登录root 用户参考stackoverflow:Cloudera Manager Failed to authenticate : Exhausted available authentication methods ...

2018-04-22 23:56:07 7423 1

原创 Ubuntu 16.04主机之间ssh免密码登录

使用A机(192.168.1.8)和B机(192.168.1.7)以A 机为例,使A机的lizhifeng用户可以免密码登录B机的lizhifeng用户:安装ssh:sudo apt-get install ssh 以下在A机的lizhifeng用户模式下操作:2、在A机上生成公钥和私钥,输入命令,提示直接按enter就行了 ssh-keygen -t  rsacd ~/.ssh就会发现多了如下文...

2018-04-22 12:32:28 462

转载 ps -ef | grep 命令查看指定服务是否启动

ps命令支持三种使用的语法格式 UNIX 风格,选项可以组合在一起,并且选项前必须有“-”连字符    BSD 风格,选项可以组合在一起,但是选项前不能有“-”连字符    GNU 风格的长选项,选项前有两个“-”连字符列出目前所有的正在内存当中的程序• USER:该进程属于那个使用者账号的?• PID :该进程的进程ID号。• %CPU:该进程使用掉的 CPU 资源百分比;•...

2018-04-20 22:56:16 10568 1

转载 Zookeeper的ZAB算法选主流程

5.4 验证:leader选举过程Leader选举是zookeeper最重要的技术之⼀,也是保证分布式数据⼀致性的关键所在。当Zookeeper集群中的⼀台服务器出现以下两种情况之⼀时,需要进⼊Leader选举。服务器初始化启动 服务器运⾏期间⽆法和Leader保持连接下⾯就两种情况进⾏分析讲解。5.4.1 服务器启动时期的Leader选举若进⾏Leader选举,则⾄少需要两台机器,这⾥选取3台机器组成的服务器集群为例。在集群初始化阶段,当有⼀台服务器Server1启动时,其单独⽆法

2018-04-18 10:47:18 418

转载 分布式选举算法-- Bully、Raft和ZAB

集群一般是由两个或两个以上的服务器组建而成,每个服务器都是一个节点。数据库集群、管理集群...数据库集群提供了读写功能,管理集群提供了管理、故障恢复等功能。对于一个集群来说,多个节点的协同和管理是非常重要的。而主节点则实现了协同和管理,主节点的存在,就可以保证其他节点的有序运行,以及数据库集群中的写入数据在每个节点上的一致性。这里的一致性是指,数据在每个集群节点中都是一样的,不存在不同的情况。分布式选举的作用就是选出一个主节点,由它来协调和管理其他节点,以保证集群有序运行和节点间数据的一致性。.

2018-04-17 17:52:02 1260

转载 KAFKA:百万级吞吐量原理

转自:https://blog.csdn.net/dshf_1/article/details/81044990kafka初衷 企业统一,高通量,低延迟。Kafka 是一种高吞吐量的分布式发布订阅消息系统,有如下特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万...

2018-04-17 12:49:47 4587

转载 电商后台产品设计:订单拆单

拆单也有两个层次,第一次是在提交订单后支付之前拆单,这次是拆分的订单,一次是在下单之后,发货之前,去拆分发货单(SKU层面)。两次拆单的原则不同,第一次拆单是为了区分平台商家、方便财务结算,第二次拆单是为了按照最后的发货包裹进行拆单,如不同仓库、不同运输要求的SKU、包裹重量体积限制等因素(第二次拆单的有些步骤可以放在第一步)。需要注意的是,若是跨境商品平台,则需要在支付前完成所有拆单步骤,因为报关需要三单对碰,订单、支付单、运单统一。1. 为什么要拆单拆单,顾名思义就是客户在下单之后,为了

2018-04-17 11:00:42 974

转载 Linux查看当前占用CPU或内存最多的K个进程

一、可以使用以下命令查使用内存最多的K个进程方法1:ps -aux | sort -k4nr | head -K如果是10个进程,K=10,如果是最高的三个,K=3说明:ps -aux中(a指代all——所有的进程,u指代userid——执行该进程的用户id,x指代显示所有程序,不以终端机来区分) ps -aux的输出格式如下:USER PID...

2018-04-17 10:21:51 227

转载 详解HDFS Short Circuit Local Reads

详解HDFS Short Circuit Local ReadsHadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此,Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上,也就造成了很多“Local Reads”。最初设计的时候,这种Local Reads和Remote...

2018-04-16 23:15:47 361

转载 systemd详解

传统的Linux系统启动过程主要由著名的init进程(也被称为SysV init启动系统)来处理,而基于init的启动系统被认为有效率不足的问题,systemd是Linux系统机器的另一种启动方式,宣称弥补了以传统Linux SysV init为基础的系统的缺点;Systemd是用来启动守护进程,已成为大多数发行版的标准配置,学完systemd命令后,你会发现systemd很强大。systemd的...

2018-04-16 22:53:32 861

原创 hbase伪分布式安装

开发环境ubuntu 16.04.4     hadoop-2.9.0zookeeper-3.4.10hbase-1.2.6安装配置1、本地安装好hadoop-2.9.0和zookeeper-3.4.10hadoop-2.9.0的core-site.xml配置如下:<configuration> <property> <name>fs.defa...

2018-04-11 17:45:30 1644

转载 AQS同步器的实现原理

转载自:AQS同步器的实现原理1.什么是AQS?     AQS的核心思想是基于volatile int state这样的volatile变量,配合Unsafe工具对其原子性的操作来实现对当前锁状态进行修改。同步器内部依赖一个FIFO的双向队列来完成资源获取线程的排队工作。2.同步器的应用 同步器主要使用方式是继承,子类通过继承同步器并实现它的抽象方法来管理同步状态,对同步状态的修改或者访问主要通...

2018-04-04 19:44:24 578

转载 HBase的Region机制

  转载自:HBase的Region机制 HBase 的机制里包含了许多优秀的算法,如 Region 定位、Region 分配、Region Server的上线和下线、Master 的上线和下线。在谈到这些之前,先把 HBase 的基本架构里的一些概念列在这里。一、HBase组成1.Client:利用 RPC 机制与 HMaster 和HRegionServer通信;2.Zookeeper: 协调...

2018-04-04 14:41:21 13110

转载 HBase的put流程源码分析

 https://blog.csdn.net/bryce123phy/article/details/51279878hbase是一个nosql型数据库,本文我们会分析一下客户的数据是通过什么样的路径写入到hbase的。HBase作为一种列族数据库,其将相关性较高的列聚合成一个列族单元,不同的列族单元物理上存储在不同的文件(HFile)内。一个表的数据会水平切割成不同的region分布在集群中不同...

2018-04-04 11:09:20 1876

原创 yarn3.2源码分析之NM与RM的通信和心跳调度

概述ResourceTracker是ResourceManager与NodeManager通信使用的RPC协议。基于ResourceTracker,NodeManager可完成向ResourceManager注册、周期性心跳汇报工作,并在周期性心跳汇报中领取RM下达的命令,比如重新初始化、清理 Container等。在这个过程中,NM扮演的是RPC client的角色,而RM扮演的是RPC s...

2018-04-04 10:58:24 1221

ios的网络图片下载类库

ios的网络图片下载类库

2016-03-31

viewpager的下横线指示器

viewpager的下横线指示器,使用translateAnimation位移动画实现被选中页卡的下横线的移动

2015-07-30

viewpager实现页面导航之三

新特点是使用translateAnimation位移动画实现被选中的点的移动。而不是用以往的方法实现点的切换。之所以说是点的移动而不是点的切换是因为,运行代码滑动页面时真的可以看到像在Flash中绿点的移动效果。以往的方法只是一个点换成灰色图片,另一个换成绿色图片,没有移动。

2015-07-22

viewpager实现页面导航

viewpager实现页面导航,代码耦合性低。比如不在initiateItem()中设计并返回页卡布局文件对象。姑且可以看看了解

2015-07-21

viewpager与预编译的点布局实现页面导航效果

该源代码简洁的实现了在页面滑动时点的变化,而且包容点的布局是经过重写的布局,单独作为一个文件,不在MainActivity.java中,耦合低

2015-07-20

进销存管理系统之二

这是由明日科技公司开发的进销存管理系统,跟上一例代码有些相似之处

2015-07-17

进销存管理系统

这是个教你怎么连接sqlserver2008的代码,只要查看dao.java即可

2015-07-17

java+Mysql学生数据库管理系统

该源代码里会教你怎么自定义类将在数据库查询到的结果集以表格的形式展示在界面上;怎么自定义图形面板添加背景图片

2015-07-11

MyListView

listview的BaseAdapter用法的android源代码,还用了convert与viewholder的回收机制

2015-07-10

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除