- 博客(49)
- 收藏
- 关注
RSS订阅转载 实践：ZooKeeper实现分布式队列Queue
前言ZooKeeper是一个分步式的协作系统，何为协作，ZooKeeper价值又有何体现。通过这篇文章的分布式队列的案例，你将了解到ZooKeeper的强大。关于ZooKeeper的基本使用，请参考：ZooKeeper伪分步式集群安装及使用目录分布式队列设计思路程序实现1. 分布式队列队列有很多种产品，大都是消息系统所实现的，像ActiveMQ,JB
2016-09-30 16:25:29
431
转载 Zookeeper源码分析之六 Leader/Follower初始化
转载：http://www.aboutyun.com/thread-10286-1-1.html问题导读1.Leader初始化代码是如何实现的？2.具体follow过程由哪个函数实现的？QuorumPeer.java 中的run()方法前一篇介绍了Leader选举，这一篇介绍选举成功之后Leader和Follower之间的初始化。
2016-09-30 10:06:46
1545
转载 Zookeeper源码分析之二Session建立
1.Session建立核心流程的步骤是什么？2.CREATE_SESSION的作用是什么？上一篇，小编给大家介绍了zookeeper server端的启动。这一篇将来说一下client和server端是如何建立session的。通过官网的DataMonitor例子来说明。通过Session建立这个例子，可以大概知道client端和server端是如何处理请求的，
2016-09-26 09:17:20
862
转载 Zookeeper源码分析之一Server启动
转载：http://www.aboutyun.com/thread-10281-1-1.html问题导读1.Zookeeper Server启动包含哪些流程？2.server的数据恢复包含哪些过程？大名鼎鼎的Zookeeper是解决分布式问题的神器。小编最近简单阅读了代码，分享一下。有不对之处，还请大家指出。整篇文章将分多个系列完成，因为
2016-09-24 10:29:09
815
转载 计算机视觉、模式识别、机器学习常用牛人主页链接
牛人主页（主页有很多论文代码）Serge Belongie at UC San DiegoAntonio Torralba at MITAlexei Ffros at CMUCe Liu at Microsoft Research New EnglandVittorio Ferrari at Univ.of EdinburghKristen
2016-09-23 17:42:01
1494
转载 zookeeper原理1
转载：http://www.aboutyun.com/thread-9292-1-1.html1.zk service什么情况下不可用？2.zk写数据，什么时候才算完成？3.zk读数据可以在任意一台zk节点上，为什么？4.zk znode有哪些类型？zk service网络结构zookeeper的工作集群可以简单分成两类，一个是Lea
2016-09-23 14:25:45
238
转载 zookeeper应用——集中配置管理系统的实现（只是设计，没有具体实现代码）
转载：http://www.aboutyun.com/thread-9138-1-2.html1.从本文藐视你认为zookeeper作用是什么？2.zookeeper的工作原理是什么？3.使用zookeeper有什么优势？1 场景描述参考http://www.ibm.com/developerworks/cn/opensource/os-cn-zooke
2016-09-23 14:12:38
892
转载 ZooKeeper架构设计及其应用要点
转载：http://www.aboutyun.com/thread-7731-1-2.html1.ZooKeeper的数据模型是什么 ？2.ZooKeeper应用有哪些陷阱 ？3.每个节点（ZNode）中存储的是什么？4.一个ZNode维护了一个状态结构都包含了什么？5.ZNode组成结构是什么？6.Watches的机制是什么？7.ZooKeeper内置了哪4种方式实现
2016-09-23 13:58:19
443
原创 catch中打出完整错误日志，包括Exception类型和报错行数
try(){}catch(Exception e){} 在catch中打出完整错误日志，包括Exception类型和报错行数方法：在catch块中加入代码ByteArrayOutputStream baos = new ByteArrayOutputStream(); e.printStackTrace(new
2016-09-23 13:36:37
11868
转载 Hbase禁用自带ZooKeeper，使用已经安装的ZooKeeper
转载：http://www.aboutyun.com/thread-7451-1-1.html1.如何禁用自带hbase?2.需要修改那个文件，来决定是否使用自带hbase？3.conf/hbase-site.xml修改文件的作用是什么？1.修改conf/hbase-env.sh，添加jdk支持export JAVA_HOME=/usr/lo
2016-09-22 15:28:44
10801
1
原创 zookeeper常用指令
ZooKeeper服务命令: 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作 在zookeeper的安装路径zookeeper-3.4.5_1下执行下面的命令1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkServer.sh statu
2016-09-22 14:26:46
407
原创 安装zookeeper时候，状态显示报错：Error contacting service.
安装zookeeper时候，可以查看进程启动，但是状态显示报错：Error contacting service. It is probably not running安装zookeeper-3.3.2的时候，启动正常没报错，但zkServer.sh status查看状态的时候却出现错误，如下：JMX enabled by defaultUsing config: /hadoop/
2016-09-22 13:37:06
6792
原创 常用的shell命令
1.vim 1)命令模式下按下 i 键，进入vi & vim 的插入编辑模式进行文本插入2)退出编辑模式，按3）保存修改，并退出vim , :wq
2016-09-21 16:40:11
291
转载 zookeeper运行环境2、3：单节点安装和伪分布式集群安装
转载：http://www.aboutyun.com/thread-9097-1-1.html问题导读：1.什么是zookeeper2.zookeeper有几种安装方式？3.zookeeper伪分布如何配置myid？4.zookeeper包含哪些常用操作命令？前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大
2016-09-21 13:20:56
1429
原创 zookeeper运行环境1：Zookeeper集群环境安装过程详解(改进版)
转载：http://www.aboutyun.com/thread-8086-1-1.html问题导读：1.zookeeper有几种运行环境2.zookeeper环境变量如何配置？3."server.id=host:port:port"参数的含义是什么？4.zookeeper进程是什么？5.zookeeper Leader是否需要指定？Zooke
2016-09-21 13:17:11
830
转载 实践：zookeeper如何在客户端上动态的监听服务器的上线和离线的
问题导读1.zookeeper保存哪些信息？2.如何使用eclipse连接zookeeper？3.zookeeper如何在客户端上动态的监听服务器的上线和离线的？zookeeper内部就是一个集群，主节点是选举出来的，外部看起来就像只有一台一样，保存的是一份状态数据。 做分布式应用协调的时候，可以降低开发难度。具有高可用性，松耦合交互方式。
2016-09-20 18:34:31
3007
转载 zookeeper适用场景：配置文件同步
转载：http://www.aboutyun.com/forum.php?mod=viewthread&tid=9271&ctid=16问题导读：1.本文三个角色之间是什么关系？2.三个角色的作用是什么？3.如何代码实现这三个角色的作用？在 zookeeper适用场景：zookeeper解决了哪些问题有关于分布式集群配置文件同步问题的描述，本文介绍如何把zk
2016-09-19 18:40:16
1042
转载 zookeeper适用场景：如何竞选Master及代码实现
转载：http://www.aboutyun.com/forum.php?mod=viewthread&tid=9277&ctid=16问题导读：1.如何利用zookeeper保证集群Master可用性和唯一性？2.zookeeper竞选Master包含哪些过程？3.zookeeper竞选Master机制利用了zk哪些特性？在zookeeper应用场景中
2016-09-19 18:20:01
1216
转载 zookeeper解决了哪些问题
转载：http://www.aboutyun.com/thread-9266-1-1.html问题导读：1.master挂机，传统做法备份必然是以前数据，该如何保证挂机数据与备份数据一致？2.分布式系统如何实现对同一资源的访问，保证数据的强一致性？3.集群中的worker挂了，传统做法是什么？zookeeper又是如何做的？分布式系统的运行是很复杂的，因为涉
2016-09-19 17:36:03
652
转载 ZooKeeper 常用操作API详解
转载：http://www.aboutyun.com/thread-12817-1-1.html问题导读：1、ZooKeeper的常用API方法都有那些？2、Zookeeper 到底能帮我们解决那些问题？3、如何实现共享锁（Locks）？ ZooKeeper是一个用于分布式应用程序的分布式开源协调服务。它使用一组简单的操作原语，使得分布式应用可以实现更高层
2016-09-19 16:48:16
4817
原创 zookeeper源码导入eclpise
由于之前项目中用到dubbo，使用zookeeper做注册中心，一直想抽时间学习zookeeper，最近终于抽出时间学习zk的使用和原理。在此推荐倪掌柜的《从Paxos到ZooKeeper分布式一致性原理与实践》。 一、搭建ant编译环境1. [下载jdk]并安装。- 配置jdk环境变量：我的电脑->高级系统设置->环境变量->新建编辑PAT
2016-09-19 16:02:49
439
原创 把hadoop源码导入到eclpse的java工程
在eclipse中阅读源码非常方便，利于我们平时的学习，下面讲述如何把hadoop源码导入到eclpse的java工程中。解压源码首先，我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压，如图1所示图1 我们关注文件夹src，浏览该文件夹，如图2所示图2我们需要这三个文件夹，一会我们会把这三个文件夹复制到eclipse中。创建
2016-09-19 14:18:57
1011
转载 通信原理之OSI七层参考模型（一）
载：http://www.cnblogs.com/fuchongjundream/p/3914236.html通信原理之OSI七层参考模型（一） 1、什么是计算机网络 谈计算机通信原理当然离不开计算机网络，那么什么是计算机网络。官方定义：计算机网络是由两台或两台以上的计算机通过网络设备连接起来所组成的一个系统，在这个系统中计算机与计算机之间可以进行
2016-09-19 10:58:59
1856
转载 java底层代码分析：Java NIO原理图文分析及代码实现
Java NIO原理图文分析及代码实现 前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ，远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。可以参考：http://baike.baidu.com/view/32726.htm ）机制时，发现hadoop的RPC机制的实现主要用到了两个技术：
2016-09-18 11:34:11
5366
2
转载 Hadoop学习笔记—3.Hadoop RPC机制、原理及使用
一、RPC基础概念1.1 RPC的基础概念 RPC，即Remote Procdure Call，中文名：远程过程调用； （1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型
2016-09-18 11:31:19
901
转载 大型网站系统架构的演化 good
转载：http://www.cnblogs.com/leefreeman/p/3993449.html前言 一个成熟的大型网站（如淘宝、京东等）的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所
2016-09-14 13:15:44
317
转载 用户行为分析笔记（二）：系统的整体架构
转载地址：http://www.cnblogs.com/sharpxiajun/archive/2011/11/01/2232254.html昨晚写的博文得到大家积极的反馈，非常喜欢这样一种交流的过程，也发现自己还有很多知识掌握的不够好，javascript是我主攻方向，对它的学习要求一定要高，其实对象创建的中篇写的不是太好，太仓促了，很多问题思考不到位，有点浅尝辄止，因此最后一篇我想要好
2016-09-14 13:02:15
1580
1
转载 关于大型网站技术演进的思考（一）--存储的瓶颈（1）
转载地址：http://www.cnblogs.com/sharpxiajun/p/4237704.html前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训，两天12个小时信息量非常大，知识的广度和难度也非常大，培训完后我很难完整理出全部听到的知识，今天我换了个思路是回味这次培训，这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。 首先我
2016-09-14 11:47:24
228
转载 海量图片存储策略
转载地址：http://blog.csdn.net/kongqz/article/details/7473822一、常规图片存储策略常规的一般400G以下的图片存储可以采用比较传统的分目录的形式例如目录层级为 年份/行业属性/月份/日期/用户属性有几个比较重要的原则就是1、单个目录下的文件个数不要超过2000个，多了寻址较慢，你在linux下l
2016-09-14 11:41:17
493
转载 memcache的一致性hash算法使用
转载地址：http://blog.csdn.net/kongqz/article/details/6695417一、概述 1、我们的memcache客户端（这里我看的spymemcache的源码），使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不同，只是对我们要存储数据的key进行hash计算，分配到不同节点存储。一致性hash算法是对我们要
2016-09-14 11:34:42
319
转载 关于大型网站技术演进的思考（二）--存储的瓶颈（2）
【编者按】本文转自博客园的 夏天的森林上篇里我讲到某些网站在高并发下会报出503错误，503错误的含义是指网站服务端暂时无法提供服务的含义，503还表达了网站服务端现在有问题但是以后可能会提供正常的服务，对http协议熟悉的人都知道，5开头的响应码表达了服务端出现了问题，在我们开发测试时候最为常见的是500错误，500代表的含义是服务端程序出现了错误导致网站无法正常提供服务，500通常
2016-09-14 11:28:27
356
转载 大型网站架构改进历程：数据存储的瓶颈
【编者按】本文转自博客园的 夏天的森林，在看这篇之前，大家可以移步看 大型网站架构改进历程：存储的瓶颈（一）、（二）、（三）、（四）。上文里我遗留了两个问题，一个问题是数据库做了水平拆分以后，如果我们对主键的设计采取一种均匀分布的策略，那么它对于被水平拆分出的表后续的查询操作将有何种影响，第二个问题就是水平拆分的扩容问题。这两个问题在深入下去，本系列就越来越技术化了，可能最终很多朋友读
2016-09-14 11:21:06
463
转载 【Postgresql源码分析之一】主备同步复制介绍
postgresql主备热备postgresql支持主机和备机以及级联之间的热备，即通过先进行一次基础备份，让其拥有相同的基础数据，然后通过传输XLOG日志的方式，在备机或者级联备机上REDO模拟主机上的操作，保证他们之间数据的一致性。目前热备传输方式有下面两种;异步复制（async）：主机上产生xlog日志，只需要将该xlog日志发送给备机就返回给客户端结果，不关心备机是否接收到
2016-09-14 11:14:32
923
原创 主备服务器内数据同步后如何确保完全一致
保证备库的数据和主库一致：1、分析日志（Analysis Log）将装载到备库的SQL语句，这部分是装载正确的根本，这部分数据如果正确了，则保证了数据源的正确。2、装载日志（Upload Log）装载数据时是否出现问题，有时备库和主库表定义有不一致，那么在这个日志就会记录出错，根据此日志就能够检查出问题出现在什么地方。 通过以上两个日志基本能保证同步过程中的错误捕捉，同时再加
2016-09-14 11:08:45
1580
原创 log4j.properties(debug,info,error模式)
### direct log messages to stdout and file###log4j.rootCategory=info,error,debug#log4j.rootCategory=info,stdout##debug模式，将debug日志打到控制台consolelog4j.logger.java.sql=debuglog4j.logger.org.apach
2016-09-14 10:52:25
5500
转载 电商总结-日志监控系统的解决方案
前一篇文章聊到了小型电商网站的系统架构，然后有朋友问我，里面的日志与监控指的是啥，所以，今天就来聊聊这个问题。 监控系统主要用于服务器集群的资源和性能监控以及应用异常和性能监控，日志管理等多维度的性能监控分析。一个完善的监控系统和日志系统对于一个系统的重要性不必我多说，总而言之就一句话，只有实时了解各系统的状态，才能保证各系统的稳定。 如上图所示，监控平
2016-09-14 10:43:11
3637
转载 电商总结-小型电商网站的架构
又是一年年底了，这一年，从传统软件行业进入到电商企业，算是一次转行了吧。刚开始，觉得电商网站没有什么技术含量，也没有什么门槛，都是一些现有的东西堆积木似的堆出来而已。然而，真正进入到这个行业之后，才发现并不是这样。记得有人说过，好的架构，是演化出来的。电商网站的架构也是如此，现在牛逼的电商网站，看似很复杂，很牛逼，其实也是从很小的架构，也是从没什么技术含量开始的。架构的演化过程，就是在技术团队，不
2016-09-14 10:38:49
583
转载 电商总结-基于共享存储的图片服务器架构
在当前这个互联网的时代，不管何种网站，对图片的需求量越来越大，尤其在电商网站中，几乎都会面临到海量图片资源的存储、访问等相关技术问题。在对图片服务器的架构，扩展，升级的过程中，肯定也会碰到各种各样的问题，各种各样的需求。当然这并不代表，就必须得弄一个特别NB的图片服务架构，简单，高效，稳定就行。所以今天就来总结一个特别简单，高效的图片服务架构：通过共享存储的方式来实现图片服务架构。
2016-09-14 10:36:55
1694
转载 聊一聊PV和并发
最近和几个朋友，聊到并发和服务器的压力问题。很多朋友，不知道该怎么去计算并发？部署多少台服务器才合适？ 所以，今天就来聊一聊PV和并发，还有计算web服务器的数量 的等方法。这些都是自己的想法加上一些网上的总结，如有不对，欢迎拍砖。 几个概念 网站流量是指网站的访问量，用来描述访问网站的用户数量以及用户所浏览的网页数量等指标，常用的统计指标包括网站的独立用户数量
2016-09-14 10:27:46
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人