server design
文章平均质量分 85
Daemon_1994
这个作者很懒,什么都没留下…
展开
-
拿什么保护你---TDW数据安全
互联网时代,大数据扮演着极为重要的角色;腾讯作为中国最大社交平台,具备最具权威、代表性的互联网大数据。数据平台部TDW作为公司级的海量数据存储和计算平台,集中了公司90%以上产品(近400款)的核心数据,覆盖全部BG,积累约4000个开发者,如何保障如此之多的用户安全合理地使用这么丰富珍贵的数据?本文将从数据生命周期(传输—>存储—>使用)角度揭密数平的数据安全体系如何为腾讯大数据保驾护航。原创 2015-09-05 22:51:51 · 684 阅读 · 1 评论 -
Servlet 工作原理解析
Web 技术成为当今主流的互联网 Web 应用技术之一,而 Servlet 是 Java Web 技术的核心基础。因而掌握 Servlet 的工作原理是成为一名合格的 Java Web 技术开发人员的基本要求。本文将带你认识 Java Web 技术是如何基于 Servlet 工作,你将知道:以 Tomcat 为例了解 Servlet 容器是如何工作的?一个 Web 工程在 Servlet 容器原创 2015-06-09 17:03:21 · 917 阅读 · 0 评论 -
Tomcat 系统架构与设计模式,第 1 部分: 工作原理
这个分为两个部分的系列文章将研究 Apache Tomcat 的系统架构以及其运用的很多经典设计模式。本文是第 1 部分,将主要从 Tomcat 如何分发请求、如何处理多用户同时请求,还有它的多级容器是如何协调工作的角度来分析 Tomcat 的工作原理,这也是一个 Web 服务器首要解决的关键问题。本文以 Tomcat 5 为基础,也兼顾最新的 Tomcat 6 和原创 2015-06-09 17:01:21 · 947 阅读 · 0 评论 -
分布式MySQL数据库TDSQL架构分析
摘要:腾讯计费平台部为了解决基于内存的NoSQL解决方案HOLD平台在应对多种业务接入时的不足,结合团队在MySQL领域多年应用和优化经验,最终在MySQL存储引擎基础上,打造一套分布式SQL系统TDSQL。本文是对该系统架构分析。腾讯计费平台部托管着公司90%以上的虚拟账户,如QB、Q点、包月服务、游戏的二级账户等,为了保证能顺畅支撑公司各大业务的实时在线交易,并且在各种原创 2015-06-02 10:40:13 · 1764 阅读 · 0 评论 -
Objective-C Autorelease Pool 的实现原理
内存管理一直是学习 Objective-C 的重点和难点之一,尽管现在已经是 ARC 时代了,但是了解 Objective-C 的内存管理机制仍然是十分必要的。其中,弄清楚 autorelease 的原理更是重中之重,只有理解了 autorelease 的原理,我们才算是真正了解了 Objective-C 的内存管理机制。注:本文使用的 runtime 源码是当前的最新版本 objc4-646.t原创 2015-06-01 11:28:44 · 1143 阅读 · 0 评论 -
后Hadoop时代的大数据架构
提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop – 董飞的回答,为了给大家有个铺垫,简单讲一原创 2015-05-18 09:04:31 · 1047 阅读 · 0 评论 -
Eric Brewer:容器和微服务是计算的未来
Mesosphere的高级研究分析师Derrik Harris(原是GigaOM编辑,到访过CSDN)最近采访了Google负责基础设施的副总裁Eric Brew,谈到了容器技术、Kubernetes、云计算当然还有CAP。Eric Brew,美国工程院院士和ACM Fellow,是著名的分布式系统专家,32岁就拿到加州大学伯克利分校教授(个人网页),提出了分布系统中非常重要的原创 2015-05-18 16:50:57 · 1603 阅读 · 1 评论 -
黄洁:Intel Spark应用优化和实践经验
摘要:黄洁就Spark的内存管理、IO提升和计算优化3个方面进行了详细讲解。黄洁表示,对比MapReduce,Spark擅长于复杂的机器学和图的计算、流处理等多种业务场景。【编者按】干货满满的2015 OpenStack技术大会、2015 Spark技术峰会、2015 Container技术峰会以实力赢得所有观众的认可。在Spark峰会上,英特尔大数据技术中心研发经理黄洁就Spark的原创 2015-05-29 21:06:42 · 1570 阅读 · 0 评论 -
MySQL高可用浅析
对于多数应用来说,MySQL都是作为最关键的数据存储中心的,所以,如何让MySQL提供HA服务,是我们不得不面对的一个问题。当master当机的时候,我们如何保证数据尽可能的不丢失,如何保证快速的获知master当机并进行相应的故障转移处理,都是需要我们好好思考的。这里,笔者将结合这段时间做的MySQL proxy以及toolsets相关工作,说说我们现阶段以及后续会在项目中采用的MySQL HA原创 2015-05-12 10:24:53 · 1030 阅读 · 1 评论 -
揭秘12306技术改造(三):传统框架云化迁移到内存数据平台
摘要:此篇文章列举不同类型的系统改造迁移到云平台方案,从改造思路探讨,系统框架设计和项目实施的整个迁移过程,供大家参考和交流。注:本文首发于CSDN,转载请标明出处。【编者按】在年前的「技术揭秘12306改造」专题中,负责12306改造的技术架构师刘云程从技术的角度、用科学论证的方式说明 12306是如何实现高流量高并发的关键技术,以及深入探讨了12306两地三中心混合云架构,原创 2015-04-30 19:35:38 · 2082 阅读 · 0 评论 -
Mysql技术内幕——InnoDB存储引擎
一.mysql体系结构和存储引擎1.1、数据库和实例的区别数据库:物理操作系统或其他形式文件类型的集合。在mysql下数据库文件可以是frm,myd,myi,ibd结尾的文件。 数据库实例:由数据库后台进程/线程以及一个共享内存区组成。数据库实例才是真正用来操作数据库文件的。 mysql数据库是单进程多线程的程序,与sql s原创 2015-04-17 20:11:54 · 944 阅读 · 0 评论 -
Hugepages详解
IBM的创始人Thomas J. Watson曾经说: “全世界只需要5台电脑就足够了”。Microsoft的创始人Bill Gates曾在一次演讲中说:“个人用户的计算机内存只需640K ”。Intel创始人之一Gordon Moore曾经说:“当价格不变时,集成电路上可容纳的晶体管数目,约每隔18个月便会增加一倍,性能也会增加一倍”。前面两句话在今天看来实际上是十分荒谬原创 2015-04-09 09:49:37 · 17247 阅读 · 2 评论 -
揭秘阿里服务互联网金融的关系数据库——OceanBase
摘要:4月2日,蚂蚁金服方面宣布,蚂蚁金服及阿里巴巴自主研发的通用关系数据库OceanBase已经开始支撑淘宝、天猫和聚划算的所有日常交易。编者按:时至今日,“Big data”(大数据)时代的来临已经毋庸置疑,尤其是在电信、金融等行业,几乎已经到了“数据就是业务本身”的地步。这种趋势已经让很多相信数据之力量的企业做出改变。为了应对大数据的冲击,淘宝将以前的Oracle、小型机、高端存原创 2015-04-02 20:32:38 · 1445 阅读 · 0 评论 -
JSP/SERVLET入门教程--Servlet 使用入门
现在的JSP书籍有的是直接讲述JSP的使用,然后再讲解SERVERLET的使用;也有书籍是先讲述SERVERLET的使用,然后讲解JSP使用.个人认为第二种相对好一些,至于原因大家可以在学习体会到!所以今天我们接着学习SERVERLET的使用!好,废话少说,现在开始!什么是Servlet?① Servlet就是JAVA 类② Servlet是一个继承HttpServlet类原创 2015-06-09 17:06:08 · 749 阅读 · 0 评论 -
如何实现一个malloc
任何一个用过或学过C的人对malloc都不会陌生。大家都知道malloc可以分配一段连续的内存空间,并且在不再使用时可以通过free释放掉。但是,许多程序员对malloc背后的事情并不熟悉,许多人甚至把malloc当做操作系统所提供的系统调用或C的关键字。实际上,malloc只是C的标准库中提供的一个普通函数,而且实现malloc的基本思想并不复杂,任何一个对C和操作系统有些许了解的程序员都可以很原创 2015-06-14 21:41:28 · 968 阅读 · 1 评论 -
【微信分享】王团结:如何用Hadoop/Spark构建七牛数据平台
摘要:7月30日,七牛数据平台工程师王团结就七牛内部使用的数据平台,深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验,并讲解了各个工具使用的注意点。继“ YARN or Mesos?Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL on Hadoop框架选择”之后,CSDN Spark微信用户群邀请了王团结原创 2015-07-31 08:27:55 · 1010 阅读 · 0 评论 -
大数据产品-腾讯信鸽之手游流失预测
背景随着游戏市场竞争的日趋激烈,越来越多的游戏运营服务选择借助大数据挖掘出更多更细的用户群来进行精细化,个性化运营,从而更好的抓住用户,获得更大的收益。在游戏运营中,无论是流失挽留,还是拉新,以及付费用户预测都是游戏运营的重要内容。本文将着重介绍手游用户的流失预测。对于游戏运营者,如果能够尽早的发现可能流失的用户,尽早的有针对性的对这些用户进行适当的干预,从而最大限度的延长用户在游戏中原创 2015-09-05 22:40:31 · 862 阅读 · 0 评论 -
Docker On Gaia——腾讯Docker管理解决方案
要问2015年什么最火,耐人寻味的股票走势?黄晓明baby领证?Apple Watch 销量会有多好?我无法准确回答你,每个人心中都有自己的答案。不过要问技术领域2015什么最火,那“Docker”一定是当仁不让,这一年Docker又是融资,又是收购,又是办大会。它被爱好者冠以云计算新星、下一代虚拟机等称号,可见大家对其的期望之高。小米雷布斯曾说过,“站在风口上,猪都能飞起来”。Gaia虽不是原创 2015-09-05 22:47:22 · 1104 阅读 · 0 评论 -
让Pig在风暴中飞驰——Pig On Storm
1以PigOnStorm直面实时应用开发面的挑战在TRC(Tencent Realtime Computing)系统中TDProcess负责为各个应用提供实时计算的能力和服务,Storm是TDProcess的核心部件,虽然Storm已经成为开源流式计算领域的实际标准,但其生态系统远没有Hadoop完善,在Storm之上没有像Hive、Pig这类解放应用开发人员的效率提升工具,所以当你决定使用S原创 2015-09-05 22:41:43 · 729 阅读 · 0 评论 -
腾讯大数据之新一代资源管理与调度平台
云计算、大数据经常意味着需要调动数据中心大量的资源,如何能够快速的匹配合适资源,需要一个聪明的“大脑”。数据平台部的TDW,是腾讯自主研发,支持百PB级的数据存储和计算,提供海量、高效、稳定的大数据平台支撑和决策支持,成为腾讯大数据处理的核心平台。更大规模的集群,更多新的分布式编程框架,更多不同的业务场景,都给这个大脑提出了挑战。同时,我们也在思考一个并非只为TDW服务的通用资源管原创 2015-09-05 23:02:57 · 4770 阅读 · 0 评论 -
腾讯大数据套件带你玩转大数据
前言人类每一次大的技术变革都是先在新兴产业生根发芽,再慢慢把触角伸到传统行业。在当前这股由IT(Information Technology)向DT(Data Technology)转变的技术浪潮中,互联网行业成为云计算、大数据等高新技术的试验田。经过近十年的发展,随着大数据技术的不断成熟以及互联网应用案例的普及,"数据驱动业务"的模式逐渐得到各行各业的广泛认同,“互联网+”战略的提出原创 2015-09-05 22:35:54 · 1800 阅读 · 0 评论 -
腾讯大数据之TDW计算引擎解析——Shuffle
腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,目前单集群最大规模达到5600台,每日作业数达到100多万,已经成为公司最大的离线数据处理平台。为了满足用户更加多样的计算需求,TDW也在向实时化方向发展,为用户提供更加高效、稳定、丰富的服原创 2015-09-05 22:58:51 · 838 阅读 · 0 评论 -
TDW计算引擎解析——Scheduler
腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,目前单集群最大规模达到5600台,每日作业数达到100多万,已经成为公司最大的离线数据处理平台。为了满足用户更加多样的计算需求,TDW也在向实时化方向发展,为用户提供更加高效、稳定、丰富的服原创 2015-09-05 22:55:44 · 901 阅读 · 0 评论 -
TDW千台Spark千亿节点对相似度计算
相似度计算在信息检索、数据挖掘等领域有着广泛的应用,是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长,对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销,导致性能低下。我们借助于Spark对内存计算的支持以及图划分的思想,大大降低了网络数据传输量;并通过在系统层次对Spark的改进优化,使其可以稳定地扩展至上千台规模原创 2015-09-05 22:53:35 · 522 阅读 · 0 评论 -
大索引技术,大数据的未来
不管你信也好,不信也好,大数据时代真的来临了,随着Hadoop技术的普及,其生态圈发展的越来越壮大,Hive、Hbase、Spark、Storm等的一系列新名词不断的涌现在我们的眼里。似乎NoSQL一夜间,攻陷了全部的大数据阵地。那么传统的关系型数据库的一些思路,真的没有用武之地了么?真的就一去不复返了么?当大数据技术大旗在每个山头摇摆的时候,我们躲在角落里还能做些什么?“索引”,原创 2015-09-05 22:48:05 · 758 阅读 · 1 评论 -
腾讯推荐——让您的系统瞬间个性化
腾讯推荐“腾讯推荐”是腾讯大数据近期大力打造的开放服务平台,旨在集业务接入、数据上报、算法计算、实时推荐和效果监控于一体,对外提供全自动实时精准推荐服务。腾讯推荐官网: tuijian.qq.com推荐是什么?文章中提到的推荐均是指在海量的物品中自动为用户选取到感兴趣或合适的信息。就腾讯新闻应用而言,全国各地每天产生的信息总数堪称海量,但屏幕尺寸有限,能给用户展示的新闻也不多,这就原创 2015-09-05 22:46:15 · 1216 阅读 · 0 评论 -
机器学习 刀光剑影 之屠龙刀
机器学习是一个大武林,这里面江湖人士颇多,“发明”出来的算法兵器也是五花八门,浩瀚如海,足够你数上三天两夜了。然而,这些兵器行走江湖能用的不多,真正无敌的更是屈指可数,或许只有屠龙刀倚天剑了。正如江湖传言:武林至尊,宝刀屠龙,号令天下,莫敢不从,倚天不出,谁与争锋? 机器学习中还真有这么一把屠龙刀、一把倚天剑。用上了这两样兵器,保你平平安安创四方,潇潇洒洒走江湖。今天,就先絮叨絮叨这把屠龙刀。原创 2015-09-05 22:44:43 · 895 阅读 · 1 评论 -
Nginx的TCP负载均衡介绍
Nginx Plus的商业授权版开始具有TCP负载均衡的功能。从Nginx 1.7.7版本开始加入的,现在变成了一个商业收费版本,想要试用,需要在官网申请。也就是说,Nginx除了以前常用的HTTP负载均衡外,Nginx增加基于TCP协议实现的负载均衡方法。HTTP负载均衡,也就是我们通常所有“七层负载均衡”,工作在第七层“应用层”。而TCP负载均衡,就是我们通常所说的“四层负载均衡”,工作在“网原创 2015-07-31 08:39:28 · 869 阅读 · 1 评论 -
Cgroup maintainer李泽帆:解剖Linux内核容器技术
摘要:Cgroup和namespace等内核特性如何出现,在社区处于怎样的开发状况?Docker如火如荼,内核社区是否会因此加紧完善容器技术的隔离性安全性?华为Linux内核高级工程师李泽帆将在2015 Container技术峰会上详细解说。2015年4月16-18日,由CSDN主办、CSDN专家顾问团支持的OpenCloud 2015大会将在北京国家会议中心拉开帷幕。为期三天的大会,原创 2015-03-31 11:19:18 · 4783 阅读 · 0 评论 -
Redis内存存储结构分析
五竹,20110418Redis: A persistent key-value database with built-in net interface written in ANSI-C for Posix systems1 Redis 内存存储结构本文是基于 Redis-v2.2.4 版本进行分析.1.1 Redis 内存存储总体结构Redis 是支持原创 2015-03-29 11:38:40 · 1278 阅读 · 0 评论 -
Shardcached——Booking的分布式缓存
在Booking.com,面对持续的业务增长,我们需要寻找这样的解决方案:支持伸缩,而不必大量修改或调整业务逻辑,同时不能引入不必要的复杂性或者失效点。 为将持续的访问迁移到底层的存储中,我们采用了不同的方案。有些涉及memcached,有些涉及redis,有些还涉及提供分布式键值存储的定制中间件。每种解决方案都各有优缺点。有时只是根据我们的增长量传一些阈值,就碰到问题了。 最近我们开发了自己转载 2015-01-02 19:17:56 · 579 阅读 · 0 评论 -
hack's tip -- 教你玩转指针
sds sdsnewlen(const void *init, size_t initlen) { struct sdshdr *sh; sh = zmalloc(sizeof(struct sdshdr)+initlen+1);#ifdef SDS_ABORT_ON_OOM if (sh == NULL) sdsOomAbort();#else原创 2015-01-02 01:48:57 · 557 阅读 · 0 评论 -
strcpy的工业级实现!
/***********************C语言标准库函数strcpy的一种典型的工业级的最简实现*返回值:目标串的地址。*对于出现异常的情况ANSI-C99标准并未定义,故由实现者决定返回值,通常为NULL。*参数:des为目标字符串,source为原字符串*/ char*strcpy(char*des, const原创 2015-01-02 02:04:23 · 589 阅读 · 0 评论 -
Spark生态系统解析及基于Redis的开源分布式服务Codis
摘要:在第九期“七牛开发者最佳实践日”上,陈超就Spark整个生态圈进行了讲解,而刘奇则分享豌豆荚在Redis上的摸索和实践。1月24日,一场基于Spark和Redis组成的分布式系统实践分享由Spark资深布道者陈超和豌豆荚资深系统架构师刘奇联手打造。陈超:Spark Ecosystem & Internals 陈超(@CrazyJvm),Spark布道者原创 2015-02-03 21:24:34 · 1281 阅读 · 0 评论 -
shared pool implement
由于shared pool中最重要的是library cache,所以本文主要讲解Library cache的结构,library cache latch,library cache lock,library cache pin。 What is shared pool? Shared pool是SGA中的一部分,由于它是SGA的一部分,这意味着它可以被所有的进程所访问,Share原创 2014-12-28 20:19:55 · 682 阅读 · 0 评论 -
Redis源码研究—哈希表
Redis源码研究—哈希表Category: NoSQL数据库 View: 10,980 Author: Dong作者:Dong | 新浪微博:西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/nosql/redis-code-hashtable/本博客的文章集合:http://dong原创 2015-02-03 21:27:36 · 1052 阅读 · 0 评论 -
【问底】徐汉彬:亿级Web系统搭建——单机到分布式集群
摘要:随着数据暴增,单服务器开始疲于应对海量用户的访问。自本期《问底》,徐汉彬将带大家开启异地跨集群分布式系统打造,本次关注的重点则是架构从单机到分布式集群的转变。【导读】徐汉彬曾在阿里巴巴和腾讯从事4年多的技术研发工作,负责过日请求量过亿的Web系统升级与重构,目前在小满科技创业,从事SaaS服务技术建设。 大规模流量的网站架构,从来都是慢慢“成长”而来。而这个原创 2015-01-12 16:01:03 · 2325 阅读 · 0 评论 -
Linux之父Linus说:并行计算基本上就是浪费大家的时间
本文的内容翻译自 Linux 之父 linus torvalds 最近发表的一个帖子。并行计算有什么好的?硬件的性能无法永远提升,当前的趋势实际上趋于降低功耗。那么推广并行技术这个灵丹妙药又有什么好处呢?我们已经知道适当的乱序CPU是必要的,因为人们需要合理的性能,并且乱序执行已被证明比顺序执行效率更高。推崇所谓的“并行”极大地浪费了大家的时间。“并行更高效”的高大上理转载 2015-01-05 14:23:24 · 1987 阅读 · 0 评论 -
Linus Torvalds :忘掉那该死的并行吧!
摘要:“并行计算只是浪费所有人时间”,2014年底, Linux之父linus torvalds以其一贯“高雅”的调调抨击了并行这股流行风,并表示,对比并行,大容量缓存、低功耗才是大势所趋。在 Avoiding ping pong上,Linus Torvalds以其一贯高雅的调调抨击了“并行计算就是未来”的论调,并在原文和 Reddit上收获了数百条评论。虽然事情最终也没有一个结果,但转载 2015-01-10 13:38:24 · 984 阅读 · 0 评论 -
干货分享:DBA专家门诊一期:索引与sql优化问题汇总
各位亲爱的云友, 非常感谢大家踊跃参加DBA专家门诊一期:索引与sql优化,很多云友都提出了自己的问题,门诊主任医师玄惭对大家提的问题一一作了解答。现已整理好这些问题,分享在此,欢迎来拿,绝对干货! 篇幅较长,耐心细看! 我们将赠送每位提问者每人一本凌云杂志第四期,请各位以论坛短消息形式将姓名、电话、地址发送给管理员xiaofanqie。 啊里新原创 2015-01-08 14:51:58 · 1483 阅读 · 0 评论