- 博客(15)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Kafka入门经典教程
问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是
2015-07-19 23:36:21
103714
18
转载 ab常见问题汇总
测试服务器ab被测试服务器apacheapache版本2.2.25问题一、socket: Too many open files (24)解决（在测试服务器操作）：1、查看当前系统设置：open files (-n) 1024为1024[root@localhost ~]# ulimit -acore file siz
2015-07-14 16:42:36
2086
1
转载 GridFS：基于MongoDB的分布式文件存储系统
基本原理GridFS是MongoDB之上的分布式文件系统，其利用了MongoDB的分布式存储机制并通过MongoDB来存储文件数据和文件元数据，兼具文档型数据库和文件系统的优势。GridFS是当前大数据潮流和复杂数据分析需求的产物。简单地来说，GridFS通过将文件数据和文件元数据保存在MongoDB里来实现文件系统，通过复制(Replication)来应对故障切换、数据集成，还可
2015-07-08 11:32:55
4928
1
转载 thrift使用实例
thrift是一个RPC框架，最初由Facebook开发，后来移交apache组织管理。这里用thrift写了一个最简单的例子，服务器和客户端都用java，供大家参考。0. 下载thrift首先需要下载thrift编译器，它把thrift定义编译成对应语言。在thrift官网上有下载http://thrift.apache.org/download这里我下载的是Thrift
2015-07-06 17:57:26
3059
1
转载 Kafka深度解析
背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持离线数据
2015-07-02 16:39:46
1940
转载 Apache Kafka —一个不同的消息系统
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自
2015-07-02 10:44:59
2424
转载 RocksDB介绍：一个比LevelDB更彪悍的引擎
关于LevelDB的资料网上还是比较丰富的，如果你尚未听说过LevelDB，那请稍微预习一下，因为RocksDB实际上是在LevelDB之上做的改进。本文主要侧重在架构上对RocksDB对LevelDB改进的地方做个简单介绍并添加一些个人的看法，更详细的信息读者可参考其官网：http://rocksdb.org/RocksDB是在LevelDB原来的代码上进行改进完善的，所以在用法上与Le
2015-07-01 18:27:12
3708
1
转载 8天学通MongoDB——第八天 驱动实践
作为系列的最后一篇，得要说说C#驱动对mongodb的操作，目前驱动有两种：官方驱动和samus驱动，不过我个人还是喜欢后者，因为提供了丰富的linq操作，相当方便。 官方驱动：https://github.com/mongodb/mongo-csharp-driver/downloads。下载后，还提供了一个酷似msdn的帮助文档。samus驱动：https://
2015-07-01 13:43:28
694
转载 8天学通MongoDB——第七天 运维技术
这一篇我们以管理员的视角来看mongodb，作为一名管理员，我们经常接触到的主要有4个方面：1． 安装部署2． 状态监控3． 安全认证4． 备份和恢复，下面我们就一点一点的讲解。 一：安装部署 我之前的文章都是采用console程序来承载，不过在生产环境中这并不是最佳实践，谁也不愿意在机器重启后满地找牙似找mon
2015-07-01 13:42:00
805
1
转载 8天学通MongoDB——第六天 分片技术
在mongodb里面存在另一种集群，就是分片技术，跟sql server的表分区类似，我们知道当数据量达到T级别的时候，我们的磁盘，内存就吃不消了，针对这样的场景我们该如何应对。 一：分片 mongodb采用将集合进行拆分，然后将拆分的数据均摊到几个片上的一种解决方案。 下面我对这张图解释一下： 人脸： 代
2015-07-01 13:40:26
816
转载 8天学通MongoDB——第五天 主从复制
从这一篇开始我们主要讨论mongodb的部署技术。 我们知道sql server能够做到读写分离，双机热备份和集群部署，当然mongodb也能做到，实际应用中我们不希望数据库采用单点部署，如果碰到数据库宕机或者被毁灭性破坏那是多么的糟糕。 一：主从复制1： 首先看看模型图 2: 从上面的图形中我们可以分析出这种架构有如下的好处： 数据备份。
2015-07-01 13:37:41
801
转载 8天学通MongoDB——第四天 索引操作
这些天项目改版，时间比较紧，博客也就没跟得上，还望大家见谅。 好，今天分享下mongodb中关于索引的基本操作，我们日常做开发都避免不了要对程序进行性能优化，而程序的操作无非就是CURD，通常我们又会花费50%的时间在R上面，因为Read操作对用户来说是非常敏感的，处理不好就会被人唾弃，呵呵。 从算法上来说有5种经典的查找，具体的可以参见我的算法速成系列，这其中
2015-07-01 13:35:50
797
转载 8天学通MongoDB——第三天 细说高级操作
今天跟大家分享一下mongodb中比较好玩的知识，主要包括：聚合，游标。一： 聚合 常见的聚合操作跟sql server一样，有：count，distinct，group，mapReduce。 count count是最简单，最容易，也是最常用的聚合工具，它的使用跟我们C#里面的count使用简直一模一样。 distinct 这
2015-07-01 13:32:51
781
1
转载 8天学通MongoDB——第二天 细说增删查改
看过上一篇，相信大家都会知道如何开启mongodb了，这篇就细说下其中的增删查改，首先当我们用上一篇同样的方式打开mongodb，突然傻眼了，擦，竟然开启不了，仔细观察“划线区域“的信息，发现db文件夹下有一个类似的”lock file”阻止了mongodb的开启，接下来我们要做的就是干掉它，之后，开启成功，关于mongodb的管理方式将在后续文章分享。 一： Insert操作
2015-07-01 13:31:26
1161
1
转载 8天学通MongoDB——第一天 基础入门
关于mongodb的好处，优点之类的这里就不说了，唯一要讲的一点就是mongodb中有三元素：数据库，集合，文档，其中“集合”就是对应关系数据库中的“表”，“文档”对应“行”。 一： 下载 上MongoDB官网 ，我们发现有32bit和64bit，这个就要看你系统了，不过这里有两点注意： ①：根据业界规则，偶数为“稳定版”（如：1
2015-07-01 13:30:01
2006
1
黑客与画家 epub
2012-06-15
kscope-1.6.2
2012-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人