Kafka入门经典教程

问题导读 1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka判断一个节点是否活着有哪两个条件? 6.producer是否直接将数据发送到broker的lea...

2015-07-19 23:36:21

阅读数 97620

评论数 17

ab常见问题汇总

测试服务器ab 被测试服务器apache apache版本2.2.25 问题一、socket: Too many open files (24) 解决(在测试服务器操作): 1、查看当前系统设置:open files (-n) 1024为102...

2015-07-14 16:42:36

阅读数 1338

评论数 0

GridFS:基于MongoDB的分布式文件存储系统

基本原理 GridFS是MongoDB之上的分布式文件系统,其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据,兼具文档型数据库和文件系统的优势。GridFS是当前大数据潮流和复杂数据分析需求的产物。 简单地来说,GridFS通过将文件数据和文件元数据...

2015-07-08 11:32:55

阅读数 3550

评论数 0

thrift使用实例

thrift是一个RPC框架,最初由Facebook开发,后来移交apache组织管理。这里用thrift写了一个最简单的例子,服务器和客户端都用java,供大家参考。 0. 下载thrift 首先需要下载thrift编译器,它把thrift定义编译成对应语言。在thrift官网上有下...

2015-07-06 17:57:26

阅读数 2451

评论数 0

Kafka深度解析

背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka ...

2015-07-02 16:39:46

阅读数 1611

评论数 0

Apache Kafka —一个不同的消息系统

简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Apache Kafka与传统消息系统相比,有以下不同: 它被设计为一个分布式...

2015-07-02 10:44:59

阅读数 2109

评论数 0

RocksDB介绍:一个比LevelDB更彪悍的引擎

关于LevelDB的资料网上还是比较丰富的,如果你尚未听说过LevelDB,那请稍微预习一下,因为RocksDB实际上是在LevelDB之上做的改进。本文主要侧重在架构上对RocksDB对LevelDB改进的地方做个简单介绍并添加一些个人的看法,更详细的信息读者可参考其官网:http://rock...

2015-07-01 18:27:12

阅读数 3006

评论数 0

8天学通MongoDB——第八天 驱动实践

作为系列的最后一篇,得要说说C#驱动对mongodb的操作,目前驱动有两种:官方驱动和samus驱动,不过我个人还是喜欢后者, 因为提供了丰富的linq操作,相当方便。   官方驱动:https://github.com/mongodb/mongo-csharp-driver/d...

2015-07-01 13:43:28

阅读数 547

评论数 0

8天学通MongoDB——第七天 运维技术

这一篇我们以管理员的视角来看mongodb,作为一名管理员,我们经常接触到的主要有4个方面: 1.  安装部署 2.  状态监控 3.  安全认证 4.  备份和恢复, 下面我们就一点一点的讲解。   一:安装部署         我之前的文章都是采...

2015-07-01 13:42:00

阅读数 610

评论数 0

8天学通MongoDB——第六天 分片技术

在mongodb里面存在另一种集群,就是分片技术,跟sql server的表分区类似,我们知道当数据量达到T级别的时候,我们的磁盘,内存 就吃不消了,针对这样的场景我们该如何应对。   一:分片      mongodb采用将集合进行拆分,然后将拆分的数据均摊到几个片上的一...

2015-07-01 13:40:26

阅读数 640

评论数 0

8天学通MongoDB——第五天 主从复制

从这一篇开始我们主要讨论mongodb的部署技术。     我们知道sql server能够做到读写分离,双机热备份和集群部署,当然mongodb也能做到,实际应用中我们不希望数据库采用单点部署, 如果碰到数据库宕机或者被毁灭性破坏那是多么的糟糕。   一:主从复制 1: 首先看看模型图...

2015-07-01 13:37:41

阅读数 652

评论数 0

8天学通MongoDB——第四天 索引操作

这些天项目改版,时间比较紧,博客也就没跟得上,还望大家见谅。     好,今天分享下mongodb中关于索引的基本操作,我们日常做开发都避免不了要对程序进行性能优化,而程序的操作无非就是CURD,通常我们 又会花费50%的时间在R上面,因为Read操作对用户来说是非常敏感的,处理不好就...

2015-07-01 13:35:50

阅读数 620

评论数 0

8天学通MongoDB——第三天 细说高级操作

今天跟大家分享一下mongodb中比较好玩的知识,主要包括:聚合,游标。 一: 聚合       常见的聚合操作跟sql server一样,有:count,distinct,group,mapReduce。 count         count是最简单,最容易,也是最常用的聚合工具,它的使用跟...

2015-07-01 13:32:51

阅读数 606

评论数 0

8天学通MongoDB——第二天 细说增删查改

看过上一篇,相信大家都会知道如何开启mongodb了,这篇就细说下其中的增删查改,首先当我们用上一篇同样的方式打开mongodb,突然 傻眼了,擦,竟然开启不了,仔细观察“划线区域“的信息,发现db文件夹下有一个类似的”lock file”阻止了mongodb的开启,接下来我们要做的就 是干掉它,...

2015-07-01 13:31:26

阅读数 906

评论数 0

8天学通MongoDB——第一天 基础入门

关于mongodb的好处,优点之类的这里就不说了,唯一要讲的一点就是mongodb中有三元素:数据库,集合,文档,其中“集合” 就是对应关系数据库中的“表”,“文档”对应“行”。   一: 下载       上MongoDB官网 ,我们发现有32bit和64bit,这个就要...

2015-07-01 13:30:01

阅读数 1768

评论数 0

经典漫画讲解HDFS原理

分布式文件系统比较出名的有HDFS  和 GFS,其中HDFS比较简单一点。本文是一篇描述非常简洁易懂的漫画形式讲解HDFS的原理。比一般PPT要通俗易懂很多。不难得的学习资料。 1、三个部分: 客户端、nameserver(可理解为主控和文件索引,类似linux的inode)、datano...

2015-06-29 11:50:16

阅读数 1313

评论数 0

从数据库层面理解:随机 I/O & 顺序 I/O

在谈这俩概念前、先来说说 大I/O vs. 小I/O      通常、我们把  的I/O认为是小I/O、而 >=32KB 的I/O认为是大I/O      了解I/O的大小、影响到后期对缓存、RAID类型、LUN的一些属性的调优             当前大多数数据库使用的都是传统...

2015-06-12 12:00:59

阅读数 3778

评论数 1

神秘的40毫秒延迟与 TCP_NODELAY

最近的业余时间几乎全部献给 breeze 这个多年前挖 下的大坑—— 一个异步 HTTP Server。努力没有白费,项目已经逐渐成型了, 基本的框架已经有了,一个静态 文件模块也已经实现了。 写 HTTP Server,不可免俗地一定要用 ab 跑一下性能,结果一跑不打紧,出现了一个困扰了...

2014-12-05 11:26:57

阅读数 1115

评论数 0

在Mac下搭建Docker并共享文件

在Mac OS X上安装docker 这个官网上就有,请参考http://docs.docker.io/installation/mac/ 挂载主机磁盘 - 共享文件 [Mac] 安装osxfuse和sshfs, 下载地址: http://osxfuse.github.io ...

2014-12-02 17:05:17

阅读数 6472

评论数 0

Docker使用Link在容器之间建立连接

在使用Docker的时候我们会常常碰到这么一种应用,就是我需要两个或多个容器,其中某些容器需要使用另外一些容器提供的服务。比如这么一种情况:我们需要一个容器来提供mysql的数据库服务,而另外两个容器作为客户端来连接使用mysql数据库服务。下面我们就来看看Docker是怎样通过Link来实现这种...

2014-11-29 22:15:38

阅读数 948

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭