分布式
文章平均质量分 70
BIAOBIAO齐
专注,执行力,把简单的事情做到极致
展开
-
建立ssh远程控制
为了iOS开发,入手了一台mbp。加上原来的tp T61,现在有两台本本可以把玩了。两台电脑之间传输数据是个问题。以前就耳闻ssh可以建立加密的连接,于是找了些资料了解了下ssh的的基础知识,尝试了如何建立起ssh连接。一.简要了解下ssh(来自中文维基)SSH為Secure Shell的縮寫。為建立在应用层和传输层基础上的安全协议。传统的网络服务程原创 2012-07-05 03:05:47 · 4557 阅读 · 0 评论 -
PDW中的Split Querying Process
最近看了关于SQL Server的分布式处理方面的论文,觉得它提出的Polybase跟之前看过的HadoopDB有些神似,这里做个小总结(抽空再把HadoopDB的总结贴出来)。不算翻译,只是挑出自己认为是重点的部分。详细情况,还请论文查阅原文,引用中有写明出处。文章末尾有我总结的slides,可以辅助查阅。由于缺乏实践经验,很多东西未必能理解其本质。如有其他观点,还请多指教。当下的计原创 2013-04-25 23:24:25 · 2236 阅读 · 0 评论 -
HadoopDB浅析
HadoopDB是一个Mapreduce和传统关系型数据库的结合方案,以充分利用RDBMS的性能和Hadoop的容错、分布特性。2009年被Yale大学教授Abadi提出,继而商业化为Hadapt,据称从VC那儿拉到了10M刀投资。本文是对HadoopDB论文的总结。其中不免掺杂些自己的不成熟想法,更详细的内容,还请参见原论文 HadoopDB: An Architectural Hybr原创 2013-05-18 18:05:47 · 4209 阅读 · 2 评论 -
分布式的一致性
本文来自《分布式原理与泛型》的一致性章节笔记。由于缺乏实践经验,这本书对我来说太过理论,难于理解,现在已经暂停该书的阅读,转而加强实践。另有相关博文《CAP和最终一致性》,可供参考阅读。1.分布式的一致性概述分布式系统的一个重要问题是数据的复制。对数据的复制一般有两个原因:1.增加系统的可靠性,防止单点失效的问题;2.提高系统性能,利用不同地理位置的副本迅速响应用户需求。原创 2013-05-18 19:06:08 · 15546 阅读 · 0 评论 -
Hadoop和RDBMS的混合系统
现在大数据概念被时常提起,社会各界对其关注度越来越高。往往越是火热的东西,人们越容易忽略它的本质。在slides中,我首先按照自己的理解,简单的理顺数据处理领域的发展历程。之后,落脚点是两个比较有代表性的混合的分布式系统:HadoopDB和微软的Polybase。由于缺乏实战经验,很多东西由各方论文和博文中得到,有不恰当的地方,欢迎大家拍砖讨论;)slides的提纲如下:提纲背景原创 2013-05-20 15:08:53 · 1974 阅读 · 0 评论 -
全分布式的Hadoop初体验
背景之前的时间里对Hadoop的使用都是基于学长所搭建起的实验环境的,没有完整的自己部署和维护过,最近抽时间初体验了在集群环境下装机、配置、运行的全过程,梳理总结到本文中。配置内存:8GCPU:i5-2400 3.1GHz;硬盘:960G系统:windows 7旗舰 64bits虚拟机:VMware7.1.1虚拟集群:T (master节点)Ubuntu11原创 2013-05-12 00:46:41 · 1776 阅读 · 0 评论 -
CAP和最终一致性
查阅资料整理了最终一致性、CAP相关的内容。由于图省事儿,没有做文字的整理记载,只有slides和一些查阅过的链接,大家将就着看。欢迎指正。csdn博客似乎不能内嵌js的,就不能直接展示slides了。 放个slides链接:请戳这里背景为什么系统要扩张?历史的发展路径是怎么样的?请看《系统可扩展性演化》CAP理论CAP理论的提出:分布式系统的CAP理论是2原创 2013-05-15 00:35:28 · 2131 阅读 · 0 评论 -
《Hadoop技术内幕》学习笔记——RPC和动态代理
本文是《hadoop技术内幕——深入解析Hadoop Common和HDFS架构设计与实现原理》第4章的1-3节的学习笔记。内容为Hadoop IPC部分的基础知识介绍。知识框架由于Hadoop分布式环境需要一个更高效和正对性优化的IPC机制,传统的诸如RMI的解决方案无法满足这一要求,Hadoop自己实现了一套IPC方法。第4章第1节讲解了RPC的原理,包括Stub-Skel原创 2013-06-08 00:37:45 · 3226 阅读 · 0 评论 -
SDN:软件定义网络
最近高级网络课的小组任务是在老师给定的范围内自选方向主题研究并做展示报告。我们组选了sdn。原以为这东西会是工业界无人问津的概念化产品,Google了一下却发现其实sdn挺火的,由于它可能带来的可扩展性,一些大互联网企业也在开始涉足相关的研发,比如Google呵Facebook。这里简要的梳理下我对SDN概念性的认识。背景虚拟化的大趋势近年来,大数据、云计算兴起,虚拟化技术的重要性原创 2013-06-09 00:57:30 · 10728 阅读 · 7 评论