算法之道

转载自：http://www.cnblogs.com/kerrycode/p/3315793.htmlVNC概述   VNC (Virtual Network Computing)是虚拟网络计算机的缩写。VNC 是一款优秀的远程控制工具软件，由著名的 AT&T 的欧洲研究实验室开发的。VNC 是在基于 UNIX 和 Linux操作系统的免费的开源软件，远程控制能力强大，高效

网上已经有很多关于Hadoop源码分析的好文，在这记录的目的是把自己在看Hadoop源码时自己的一些体会，方便日后查询巩固。相关阅读：Hadoop源码分析之二(RPC机制之Call处理) http://www.linuxidc.com/Linux/2013-01/77252.htm想了解Hadoop是如何工作的，首先需要了解Hadoop RPC原理。Hadoop提供了一个统一的RP

原文  http://alanwu.blog.51cto.com/3652632/1410132一、概述Erasure Code 可以应用于分布式存储系统中，替代多份数据拷贝的数据冗余方式，从而可以提高存储空间利用率。此外， Erasure code 还可以应用于传统 RAID 系统中，增加数据冗余度，支持多块盘同时发生故障，从而可以提高数据可靠性。采用范德蒙矩阵可以构

Apache hadoop 项目组最新消息，hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。其实最大改变的是hdfs,hdfs 通过最近black块计算，根据最近计算原则，本地black块，加入到内存，先计算，通过IO，共享内存计算区域，最后快速形成计算结果。1. Hadoop 3.0简介Hadoop

原文转自：http://geek.csdn.net/news/detail/77338在HDFS中，可靠性通过多副本的方式来实现，从而较低的存储利用率成为时下基于HDFS应用的主要问题之一。本文将详细介绍HDFS一个新的特性——Erasure Coding（EC）， 它在保证同等（或者更高）可靠性的情况下将存储利用率提高了近一倍。背景近些年，随着大数据技术的发展，HDFS作

纠删码是存储领域常用的数据冗余技术， 相比多副本复制而言， 纠删码能够以更小的数据冗余度获得更高数据可靠性。 Reed Solomon Coding是存储领域常用的一种纠删码，它的基本原理如下：  给定n个数据块d1, d2,..., dn，n和一个正整数m， RS根据n个数据块生成m个校验块， c1, c2,..., cm。  对于任意的n和m，  从n个原始数据块和m 个校验块中任取n块就

随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性，HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本，这也使得存储利用率仅为1/3，每TB数据都需要占用3TB的存储空间。随着数据量的增长，复制的代价也变得越来越明显：传统的3份复制相当于增加了200%的存储开销，给存储空间和网络带宽带来了很大的压力。因此，在保证可靠性的前提下如何提高存

1.下载    Hadoop使用protocol buffer进行通信，需要下载和安装 protobuf-2.5.0.tar.gz。百度一下就有很多资源下载2.安装    使用tar -zxf protobuf-2.5.0.tar.gz命令解压后得到是 protobuf-2.5.0的源码，     cd protobuf-2.5.0 进入目录    假如 你

1.第一种方法：使用geometry参数进行调整vncserver -geometry 1280x1024即可，之后通过window下vnc连接后的ubuntu分辨率即为1280x1024了,注意这里的X是小写的x而不是*2.第二种方法：修改配置文件vncservers[root@secdb ~]# vi /etc/sysconfig/vncservers# The V

上一篇介绍整个RPC Server端的处理机制。http://www.linuxidc.com/Linux/2013-01/77251.htm下面介绍在整个处理机制中怎么把具体的Request Call转换并调用到整体的实现逻辑。主要以NameNode Client PRC Server作为例子来说明，整个转换通过Google Protocol Buffer RPC来实现。