- 博客(31)
- 资源 (33)
- 收藏
- 关注
RSS订阅转载 内存管理：_CrtDumpMemoryLeaks和_CrtSetBreakAlloc
1._CrtDumpMemoryLeaks确定自程序开始执行以来是否发生过内存泄漏，如果发生过，则转储所有已分配对象。如果已使用 _CrtSetDumpClient 安装了挂钩函数，那么，_CrtDumpMemoryLeaks每次转储 _CLIENT_BLOCK 块时，都会调用应用程序所提供的挂钩函数。 CrtDumpMemoryLeaks()就是显示当前的内存泄漏。 注意
2016-04-29 14:55:36
980
转载 漫游Kafka之过期数据清理
Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理： log.retention.hours=16超过指定大小后，删除旧的消息：log.retention.byte
2016-04-20 14:26:15
835
转载 漫游Kafka实现篇之分布式
原文地址：http://blog.csdn.net/honglei915/article/details/37932819Zookeeper节点标记当路径中的元素包括在方括号里比如[xyz],则表示xyz表示的值是不固定的，每个可能的值都有一个Zookeeper节点。比如/topics/[topic]表示每个topic名称对应/topics的一个子目录。也可以用类似[0...5]表示一
2016-04-20 14:25:37
369
转载 漫游Kafka实现篇之消息和日志
原文地址：http://blog.csdn.net/honglei915/article/details/37760631Kafka视频教程同步首发，欢迎观看！消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一
2016-04-20 14:24:56
460
转载 漫游Kafka实战篇之客户端编程实例
原文地址：http://blog.csdn.net/honglei915/article/details/37697655Kafka视频教程同步首发，欢迎观看！Kafka Producer APIs新版的Producer API提供了以下功能：可以将多个消息缓存到本地队列里，然后异步的批量发送到broker，可以通过参数produce
2016-04-20 14:24:19
586
转载 漫游Kafka设计篇之主从同步
原文地址：http://blog.csdn.net/honglei915/article/details/37565289Kafka视频教程同步首发，欢迎观看！Kafka允许topic的分区拥有若干副本，这个数量是可以配置的，你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据，所以当一个节点down掉时数据依然是可用的。
2016-04-20 14:23:34
1581
转载 漫游Kafka设计篇之Producer和Consumer
原文地址：http://blog.csdn.net/honglei915/article/details/37564871Kafka视频教程同步首发，欢迎观看！Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发。为了帮助producer做到这点，所有的Ka
2016-04-20 14:23:08
466
转载 漫游Kafka设计篇之性能优化
原文地址：http://blog.csdn.net/honglei915/article/details/37564757Kafka视频教程同步首发，欢迎观看！Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafk
2016-04-20 14:22:37
333
转载 漫游Kafka设计篇之消息传输的事务定义
原文地址：http://blog.csdn.net/honglei915/article/details/37565119之前讨论了consumer和producer是怎么工作的，现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别：最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次: 消息不会被漏发送，最少被传输一次，但也有可能
2016-04-20 14:22:09
339
转载 漫游Kafka设计篇之性能优化
Kafka视频教程同步首发，欢迎观看！Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面：太多的琐碎的I/O操作和太多的字
2016-04-20 14:21:34
365
转载 漫游Kafka设计篇之消息传输的事务定义
原文地址：http://blog.csdn.net/honglei915/article/details/37565119之前讨论了consumer和producer是怎么工作的，现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别：最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次: 消息不会被漏发送，最少被传输一次，但也有可能
2016-04-20 14:20:32
337
转载 漫游Kafka设计篇之数据持久化
转载注明出处：http://blog.csdn.net/honglei915/article/details/37564595Kafka视频教程同步首发，欢迎观看！不要畏惧文件系统!Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方
2016-04-20 14:20:10
332
转载 漫游kafka实战篇之搭建Kafka开发环境
转载注明出处：http://blog.csdn.net/honglei915/article/details/37563647Kafka视频教程同步首发，欢迎观看！上篇文章中我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topic，发送和接收消息。下面我们来搭建kafka的开发环境。添加依赖
2016-04-20 14:19:39
452
转载 漫游Kafka实战篇之搭建Kafka运行环境
原文地址：http://blog.csdn.net/honglei915/article/details/37564329Kafka视频教程同步首发，欢迎观看！接下来一步一步搭建Kafka运行环境。 Step 1: 下载Kafka点击下载最新的版本并解压.> tar -xzf kafka_2.9.2-0.8.1.1.tgz> cd kafka_2.9.2-
2016-04-20 14:19:04
359
转载 漫游Kafka入门篇之简单介绍
原文地址：http://blog.csdn.net/honglei915/article/details/37564521Kafka视频教程同步首发，欢迎观看！介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：
2016-04-20 14:18:36
430
转载 Kafka 对比 ActiveMQ
Kafka 是LinkedIn 开发的一个高性能、分布式的消息系统，广泛用于日志收集、流式数据处理、在线和离线消息分发等场景。虽然不是作为传统的MQ来设计，在大部分情况，Kafaka 也可以代替原先ActiveMQ 等传统的消息系统。Kafka 将消息流按Topic 组织，保存消息的服务器称为Broker，消费者可以订阅一个或者多个Topic。为了均衡负载，一个Topic 的消息又可以划分
2016-04-14 16:08:37
15212
转载 Kafka设计解析（五）： Kafka Consumer设计解析
Kafka设计解析（五）- Kafka Consumer设计解析大数据架构(郭俊_Jason) · 2015-09-18 08:24点击上方大数据架构 快速关注Kafka Consumer设计解析 本文主要介绍了Kafka High Level Consumer，Consumer Group，
2016-04-13 17:15:53
457
转载 Kafka设计解析（四）：Kafka Consumer解析
High Level Consumer很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个Consumer消费（单播）或被所有Consumer消费（广播）。因此，Kafka High Level Consumer提供了一个从Kafka消费数据的高层抽象，从而屏蔽掉其中的细节并提供丰富的语义。Consumer
2016-04-13 17:11:24
1095
转载 Kafka设计解析(三) ： Kafka High Availability (下)
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。本文在上篇文章基础上，更加深入讲解
2016-04-13 17:10:05
531
转载 Kafka设计解析（二）：Kafka High Availability （上）
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对Failover要求非常高。
2016-04-13 17:09:09
345
转载 Kafka剖析（一）：Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建背景
2016-04-13 17:06:40
407
转载 消息队列中点对点与发布订阅区别
背景知识JMS一个在 Java标准化组织（JCP）内开发的标准（代号JSR 914）。2001年6月25日，Java消息服务发布JMS 1.0.2b，2002年3月18日Java消息服务发布 1.1. Java消息服务（Java Message Service，JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，
2016-04-13 17:03:45
1505
转载 为何使用消息系统
解耦 在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。冗余有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所
2016-04-13 17:02:46
302
转载 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a distributed,partition
2016-04-13 17:01:23
536
原创 关于多线程的一点感想
写了这么多年多线程程序,多线程到底是用来干嘛的,可能这是个很白痴的问题,就我的亲身经历看开主要是因为一下两点:1.提升程序效率2.使得程序可以异步执行,一个线程干这个活,另一个线程干另一个活(严格来说,感觉这还是为了提升程序效率,因为CPU本身就是在不同线程之间切换的,两个线程能干的活一个线程也能完成)多线程程序为什么可以提升程序效率呢?我们来看看一下几个情况1.出现了程序
2016-04-12 18:28:49
536
转载 Kafka 安装和搭建 (一)
Kafka 安装和测试博客分类： middlewarekafkazookeeperscalajvm 1. 简介 kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。 i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作cons
2016-04-11 20:25:02
1976
转载 Zookeeper 安装和配置---学习三
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee
2016-04-11 10:07:43
1285
转载 Zookeeper 安装和配置---学习二
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/doc
2016-04-11 10:01:07
352
转载 Zookeeper 安装和配置---学习一
Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.单机模式点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:Bash代码 tickTime=2000 dataDir=/Users/apple/zooke
2016-04-11 09:59:35
386
转载 io_service::notify_fork函数详解
io_service::notify_forkNotify the io_service of a fork-related event.void notify_fork( boost::asio::io_service::fork_event event);This function is used to inform the io_service that t
2016-04-06 09:38:38
1170
转载 linux中fork（）函数详解
一、fork入门知识 一个进程，包括代码、数据和分配给进程的资源。fork（）函数通过系统调用创建一个与原来进程几乎完全相同的进程，也就是两个进程可以做完全相同的事，但如果初始参数或者传入的变量不同，两个进程也可以做不同的事。 一个进程调用fork（）函数后，系统先给新的进程分配资源，例如存储数据和代码的空间。然后把原来的进程的所有值都复制到新的新进程中，只有少数值与原来
2016-04-06 09:26:14
268
SSDTHook实现进程保护
2017-06-09
SkinSharp开发库+百款皮肤+皮肤编辑器
2017-05-24
minhook-1.3.2
2017-05-09
python2.7.8 32
2016-05-25
AStar 算法实例
2015-07-18
Visual Assist X补丁
2015-06-18
cmake-3.14.3-win64-x64.zip
2019-09-05
跨平台高性能TCP服务器框架 &boost;
2018-06-25
网狐IOCP压缩版
2018-06-22
用C++实现的壳
2017-09-14
像加载DLL一样加载EXE
2017-09-10
protobuf-2.61最新版
2017-08-28
Gh0stVC6到VS2010迁移所有问题的解决方法
2017-08-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人