自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(360)
  • 资源 (40)
  • 问答 (2)
  • 收藏
  • 关注

转载 Hadoop源码分析之二(RPC机制之Call处理)

上一篇介绍整个RPC Server端的处理机制。http://www.linuxidc.com/Linux/2013-01/77251.htm下面介绍在整个处理机制中怎么把具体的Request Call转换并调用到整体的实现逻辑。主要以NameNode Client PRC Server作为例子来说明,整个转换通过Google Protocol Buffer RPC来实现。

2016-06-21 18:25:45 1395

转载 Hadoop源码分析之一(RPC机制之Server)

网上已经有很多关于Hadoop源码分析的好文,在这记录的目的是把自己在看Hadoop源码时自己的一些体会,方便日后查询巩固。相关阅读:Hadoop源码分析之二(RPC机制之Call处理) http://www.linuxidc.com/Linux/2013-01/77252.htm想了解Hadoop是如何工作的,首先需要了解Hadoop RPC原理。Hadoop提供了一个统一的RP

2016-06-21 18:24:21 970

转载 基于柯西矩阵的Erasure Code技术详解

原文  http://alanwu.blog.51cto.com/3652632/1410132一、概述Erasure Code 可以应用于分布式存储系统中,替代多份数据拷贝的数据冗余方式,从而可以提高存储空间利用率。此外, Erasure code 还可以应用于传统 RAID 系统中,增加数据冗余度,支持多块盘同时发生故障,从而可以提高数据可靠性。采用范德蒙矩阵可以构

2016-06-05 18:52:48 2810

转载 呼之欲出!比Spark快10倍的Hadoop3.0有哪些实用新特性?

Apache hadoop 项目组最新消息,hadoop3.x以后将会调整方案架构,将Mapreduce 基于内存+io+磁盘,共同处理数据。其实最大改变的是hdfs,hdfs 通过最近black块计算,根据最近计算原则,本地black块,加入到内存,先计算,通过IO,共享内存计算区域,最后快速形成计算结果。1. Hadoop 3.0简介Hadoop

2016-06-05 16:29:30 3364

转载 HDFS EC:将纠删码技术融入HDFS

原文转自:http://geek.csdn.net/news/detail/77338在HDFS中,可靠性通过多副本的方式来实现,从而较低的存储利用率成为时下基于HDFS应用的主要问题之一。本文将详细介绍HDFS一个新的特性——Erasure Coding(EC), 它在保证同等(或者更高)可靠性的情况下将存储利用率提高了近一倍。背景近些年,随着大数据技术的发展,HDFS作

2016-06-05 16:11:41 8374

转载 Reed Solomon纠删码

纠删码是存储领域常用的数据冗余技术, 相比多副本复制而言, 纠删码能够以更小的数据冗余度获得更高数据可靠性。 Reed Solomon Coding是存储领域常用的一种纠删码,它的基本原理如下:  给定n个数据块d1, d2,..., dn,n和一个正整数m, RS根据n个数据块生成m个校验块, c1, c2,..., cm。  对于任意的n和m,  从n个原始数据块和m 个校验块中任取n块就

2016-06-02 16:26:05 6053

转载 Erasure Coding(纠删码)深入分析

原文地址:Coding(纠删码)深入分析" style="text-decoration:none; color:rgb(42,112,155)">Erasure Coding(纠删码)深入分析作者:Eric雪菲1.前言Swift升级到2.0大版本后宣称开始支持纠删码,这其实是一个很有意义的特性,主要是能够在一定程度上解决3副本空间浪费太多的问题。因为3副本这一点是swift推

2016-06-02 16:23:43 4294

转载 Hadoop 3.0纠删码(Erasure Coding):节省一半存储空间

随着大数据技术的发展,HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性,HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本,这也使得存储利用率仅为1/3,每TB数据都需要占用3TB的存储空间。随着数据量的增长,复制的代价也变得越来越明显:传统的3份复制相当于增加了200%的存储开销,给存储空间和网络带宽带来了很大的压力。因此,在保证可靠性的前提下如何提高存

2016-06-02 15:20:01 11057

转载 Centos Yum安装Chrome浏览器

之前Google就说了,由于CentOS/RHEL 6已经是过期的系统,所以不再会有Chrome了。 虽然后来由于引起了社区的抗议,从而改口,不再提CentOS/RHEL 6是过期系统了;但是,目前在CentOS/RHEL 6上已经没有Chrome可以下载使用了。其实,根本的原因不是CentOS/RHEL 6有多老,连Windows XP和停止更新的Ubuntu 10.04都能继续使用Ch

2016-06-01 13:38:38 36641 1

原创 Centos 下设置各种代理上网

假设我们要设置代理为 IP:PORT1、网页上网网页上网设置代理很简单,在firefox浏览器下 Edit-->>Preferences-->>Advanced-->>Network在Connection下点击Settings,里面的manual proxy configuration里设置IP和PORT即可2、yum代理设置编辑文件为:/etc/yum.conf

2016-06-01 13:20:42 10238 1

原创 Java 调用本地Native接口指引

Java本地接口允许java用户用代码与其他语言接口交互的一种方法,native方法允许java语言调用其他语言,增加了代码的灵活性1、Java本地接口的好处通过使用Java接口,可以增加代码的灵活性与重用性,假如我们想在java里用一段C语言的代码实现的功能,我们不用全部重写所有C语言代码,而是可以加一个C语言接口类,与java交互即可。通过java接口,还可以提升java程序的性能

2016-05-31 20:00:56 2855

转载 protocol buffer安装

1.下载    Hadoop使用protocol buffer进行通信,需要下载和安装 protobuf-2.5.0.tar.gz。百度一下就有很多资源下载2.安装    使用tar -zxf protobuf-2.5.0.tar.gz命令解压后得到是 protobuf-2.5.0的源码,     cd protobuf-2.5.0 进入目录    假如 你

2016-05-18 10:02:13 403

原创 Hadoop介绍

1、Hadoop介绍Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了一个系统底层细节透明的分布式架构,通过Hadoop,可以将大量的廉价机器的计算资源组织起来,解决单机不能解决的海量数据的处理问题。Hadoop主要有以下几个优点:高可靠性:提供按位处理的存储和计算能力值得用户信赖。高扩展性:可以轻松地从小量集群扩展到数以千计的节点中。

2016-05-17 12:37:59 4201

原创 VNC Viewer 设置屏幕分辨率-解决屏幕分辨率问题

1.第一种方法:使用geometry参数进行调整vncserver -geometry 1280x1024即可,之后通过window下vnc连接后的ubuntu分辨率即为1280x1024了,注意这里的X是小写的x而不是*2.第二种方法:修改配置文件vncservers[root@secdb ~]# vi /etc/sysconfig/vncservers# The V

2016-05-16 15:14:08 107264 5

转载 VNC Viewer配置

转载自:http://www.cnblogs.com/kerrycode/p/3315793.htmlVNC概述   VNC (Virtual Network Computing)是虚拟网络计算机的缩写。VNC 是一款优秀的远程控制工具软件,由著名的 AT&T 的欧洲研究实验室开发的。VNC 是在基于 UNIX 和 Linux操作系统的免费的开源软件,远程控制能力强大,高效

2016-05-16 15:09:47 33803

原创 LeetCode代码迁移

LeetCode的后续代码更新迁移到:Github地址

2015-11-26 14:02:42 743

原创 LeetCode 38 Count and Say(C,C++,Java,Python)

Problem:The count-and-say sequence is the sequence of integers beginning as follows:1, 11, 21, 1211, 111221, ...1 is read off as "one 1" or 11.11 is read off as "two 1s" or 21.21 i

2015-05-19 21:36:24 3497

原创 LeetCode 37 Sudoku Solver (C,C++,Java,Python)

Problem:Write a program to solve a Sudoku puzzle by filling the empty cells.Empty cells are indicated by the character '.'.You may assume that there will be only one unique solution.

2015-05-19 13:11:05 2900

原创 LeetCode 36 Valid Sudoku (C,C++,Java,Python)

Problem:Determine if a Sudoku is valid, according to: Sudoku Puzzles - The Rules.The Sudoku board could be partially filled, where empty cells are filled with the character '.'.A p

2015-05-18 22:56:46 3849

原创 LeetCode 35 Search Insert Position (C,C++,Java,Python)

Problem:Given a sorted array and a target value, return the index if the target is found. If not, return the index where it would be if it were inserted in order.You may assume no duplicates

2015-05-18 20:33:01 1704

原创 LeetCode 34 Search for a Range (C,C++,Java,Python)

Problem:Given a sorted array of integers, find the starting and ending position of a given target value.Your algorithm's runtime complexity must be in the order of O(log n).If the target

2015-05-14 21:28:11 1876

原创 LeetCode 33 Search in Rotated Sorted Array (C,C++,Java,Python)

Problem:Suppose a sorted array is rotated at some pivot unknown to you beforehand.(i.e., 0 1 2 4 5 6 7 might become 4 5 6 7 0 1 2).You are given a target value to search. If found in t

2015-05-14 19:59:49 702

原创 LeetCode 32 Longest Valid Parentheses (C,C++,Java,Python)

Problem:Given a string containing just the characters '(' and ')', find the length of the longest valid (well-formed) parentheses substring.For "(()", the longest valid parentheses substri

2015-05-14 17:16:32 1213

原创 LeetCode 31 Next Permutation (C,C++,Java,Python)

Problem:Implement next permutation, which rearranges numbers into the lexicographically next greater permutation of numbers.If such arrangement is not possible, it must rearrange it as the l

2015-05-14 14:36:42 2088

原创 LeetCode 30 Substring with Concatenation of All Words (C,C++,Java,Python)

Problem:You are given a string, s, and a list of words, words, that are all of the same length. Find all starting indices of substring(s) in s that is a concatenation of each word in wordsexac

2015-05-14 13:13:52 2092

原创 LeetCode 29 Divide Two Integers (C,C++,Java,Python)

Problem:Divide two integers without using multiplication, division and mod operator.If it is overflow, return MAX_INT.Solution:不能乘除就加减就行了,但是一个问题是加减有可能速度太慢,因此需要转换,由于任何一个数都能表示成二进制,所以有d

2015-05-13 09:27:20 2922 1

原创 LeetCode 28 Implement strStr() (C,C++,Java,Python)

Problem:Implement strStr().Returns the index of the first occurrence of needle in haystack, or -1 if needle is not part of haystack.Update (2014-11-02):The signature of the function ha

2015-05-12 11:59:17 2404

原创 LeetCode 27 Remove Element (C,C++,Java,Python)

Problem:Given an array and a value, remove all instances of that value in place and return the new length.The order of elements can be changed. It doesn't matter what you leave beyond the ne

2015-05-11 20:40:46 1952

原创 LeetCode 26 Remove Duplicates from Sorted Array (C,C++,Java,Python)

Problem:Given a sorted array, remove the duplicates in place such that each element appear only once and return the new length.Do not allocate extra space for another array, you must do this

2015-05-11 20:25:19 1110

原创 LeetCode 25 Reverse Nodes in k-Group (C,C++,Java,Python)

Problem:Given a linked list, reverse the nodes of a linked list k at a time and return its modified list.If the number of nodes is not a multiple of k then left-out nodes in the end should r

2015-05-11 19:55:08 1497

原创 LeetCode 24 Swap Nodes in Pairs (C,C++,Java,Python)

Problem:Given a linked list, swap every two adjacent nodes and return its head.For example,Given 1->2->3->4, you should return the list as 2->1->4->3.Your algorithm should use only con

2015-05-11 16:37:22 2206 1

原创 LeetCode 23 Merge k Sorted Lists (C,C++,Java,Python)

Problem:Merge k sorted linked lists and return it as one sorted list. Analyze and describe its complexity.Solution:采用胜者树的方法,胜者树介绍:胜者树,假如链表数组长度为n,链表元素总个数为k,那么时间复杂度为O(k*log(n))题目大意:

2015-05-11 15:39:00 1447

原创 LeetCode 22 Generate Parentheses (C,C++,Java,Python)

Problem:Given n pairs of parentheses, write a function to generate all combinations of well-formed parentheses.For example, given n = 3, a solution set is:"((()))", "(()())", "(())()", "

2015-05-10 21:11:15 2216

原创 LeetCode 21 Merge Two Sorted Lists (C,C++,Java,Python)

Problem:Merge two sorted linked lists and return it as a new list. The new list should be made by splicing together the nodes of the first two lists.Solution:两个有序链表,每次取头部最小的那个元素,然后将这个元素从原来链表

2015-05-10 17:15:00 1765 1

原创 LeetCode 20 Valid Parentheses (C,C++,Java,Python)

Problem:Given a string containing just the characters '(', ')', '{', '}', '[' and ']', determine if the input string is valid.The brackets must close in the correct order, "()" and "()[]{}

2015-05-10 16:41:00 4165

原创 LeetCode 19 Remove Nth Node From End of List (C,C++,Java,Python)

Problem:Given a linked list, remove the nth node from the end of list and return its head.For example, Given linked list: 1->2->3->4->5, and n = 2. After removing the second node fro

2015-05-10 16:07:27 1249

原创 LeetCode 18 4Sum (C,C++,Java,Python)

Problem:Given an array S of n integers, are there elements a, b, c, and d in S such that a + b + c + d = target? Find all unique quadruplets in the array which gives the sum of target.Note

2015-05-10 15:04:02 2477

原创 LeetCode 17 Letter Combinations of a Phone Number(C,C++,Java,Python)

Problem:Given a digit string, return all possible letter combinations that the number could represent.A mapping of digit to letters (just like on the telephone buttons) is given below.

2015-05-10 13:39:32 3808

原创 LeetCode 16 3Sum Closest(C,C++,Java,Python)

Problem:Given an array S of n integers, find three integers in S such that the sum is closest to a given number, target. Return the sum of the three integers. You may assume that each input woul

2015-05-09 22:26:02 2579

原创 LeetCode 15 3Sum (C,C++,Java,Python)

Problem:Given an array S of n integers, are there elements a, b, c in S such that a + b + c = 0? Find all unique triplets in the array which gives the sum of zero.Note:Elements in a

2015-05-09 21:06:57 5662

USB禁止工具

可以完美禁止USB的插入并报警,机房完美测试通过,附带源代码,很好的检测工具,上机考试或者比赛的时候可以很好的禁止,保证公平性

2013-05-15

安装Wine时需要的Flex最新版

装wine时总是提示flex is too old,于是下载了最新版的flex分享给大家 安装: 1、./configure 2、make 3、make install

2013-05-10

Linux与Windows相互远程工具

Linux与windows之间,Windows与windows之间都可以使用,完美运行,汉化过了已经,基于SSH,Telnet,等等,都可以

2013-05-10

经典的100套网站模板

经典的100套网站模板,非常全,涵盖各种网站,开发网页是个很不错的选择

2013-05-06

C语言100个经典算法

C语言的100个经典算法,想学算法的话是个很不错的文件

2013-05-06

操作系统作业(可变分区模拟)

操作系统上机的作业,模拟计算机进行可变分区的分配和回收操作

2013-05-06

数字雨源代码

一个数字雨屏保的源代码,分享给大家,希望能够有用

2013-05-05

HTTP代理(自己做的)

自己做的HTTP代理 支持HTTPS代理,QQ代理,亲测可用,并且经过很长时间的真机测试,每一行代码都是自己敲的

2013-05-05

HTTP协议详解

很好的介绍了HTTP协议,清晰易懂,讲解的很清楚,分享给大家

2013-05-05

HTTP_代理服务器在Windows下的实现

一个HTTP代理服务器的详细讲解包括详细代码过程,清晰的算法,自己想写代理的话是个很好的参考书

2013-05-05

FtpServer服务器

一个很好用很迷你的FTP工具,用了很长时间局域网下速度很快,希望可以帮助大家

2013-05-05

第三届蓝桥杯全国软件大赛决赛真题

第三届蓝桥杯全国软件大赛决赛真题,希望能晋级第四届的同学们考个好的成绩

2013-05-05

第四届蓝桥杯全国软件大赛预赛题目

第四届蓝桥杯全国软件大赛预赛题目,5月5日的,刚出来,希望大家考个好的成绩

2013-05-05

酒店管理系统

很好用的酒店管理系统,上交作业绝对可以得满分,希望可以帮到你,谢谢

2013-03-10

Linux安装教程

Linux安装教程,超全的,非常好用,强烈建议

2013-01-06

麻省理工学院算法导论

麻省理工学院算法导论 介绍算法导论的好资料,强烈推荐

2013-01-05

VC数字图像处理编程

VC数字图像处理编程 各种图像处理技术。。。

2012-11-26

百度面试经验

有关百度面试的经验只谈,很有用户哦! 有关百度面试的经验只谈,很有用户哦!

2012-08-16

深入理解Java虚拟机JVM高级特性与最佳实践(第2版)

深入理解Java虚拟机JVM高级特性与最佳实践(第2版)

2015-05-08

Nodejs实战经典书籍

本书的主要目的是教你学会如何创建和部署Node程序,重点是Web程序。本书中有相当一部 分内容集中介绍了Web程序框架Express和中间件框架Connect,主要是因为它们的用途和社区的 支持。你还会学到如何创建自动化测试,以及如何部署你的程序。 本书面向希望用Node.js创建响应式、可伸缩程序的有经验的Web程序开发人员。 因为Node.js程序是用JavaScript写的,所以需要你掌握这门语言。此外最好还要熟悉Windows、 OS X或Linux命令

2015-05-08

Pattern Recongition Quiz

This is about Pattern Recognition Quiz, When you want to know it ,it is very good.

2014-11-22

数据挖掘经典算法 关联规则挖掘Apriori算法

数据挖掘中关联规则挖掘的Apriori算法源代码,很不错,值得看一下

2014-10-19

Web数据挖掘(Web Data Mining)

Web数据挖掘,学习数据挖掘的经典书籍,自己一直在看,分享给大家

2014-09-20

Json工具包

这是Json的开发工具包,里面包含有Json开发所有的jar包,完美运行,亲测可用

2014-09-17

贝叶斯算法和KNN算法的文本分类器Java实现

本文为基于贝叶斯算法和KNN算法的文本分类器Java实现,很详细,在网上找的,给大家共享看看

2014-07-23

Http代理服务器

Http代理服务器,自己手动开发的,可以逃避学校客户端检测,一个寝室一个电脑联网,大家都可以用

2014-05-26

绿色免安装版论文查重检测

绿色免安装版论文查重,应用最知名的知网数据库查重,亲测可用,不用安装

2014-05-26

复旦上机真题

复旦考研上机真题,马上复试啦,加油啊大家

2014-02-21

计算机 2013年最后8套模拟题_第1套

2013年最后8套模拟题_第1套,考研的孩子们有福了

2013-09-21

历年英语四级真题及答案下载

里面包含历年四六级真题和答案,快快准备四六级吧,加油!!

2013-06-08

汇编语言Nasm编译器

汇编语言的编译器NASM的,感觉Nasm比Masm好多了

2013-06-04

2013年研究生入学考试计算机统考大纲

2013年研究生入学考试计算机统考大纲,王道整理

2013-05-28

软考真题与答案解析

软考真题,包含答案解析,很好很不错,大家快来看

2013-05-25

2013年软考网络工程师试题及其详解

2013年软考网络工程师试题及其详解,含有题目和答案,讲解的很清晰

2013-05-25

精通Windows Sockets网络开发:基于Visual C++实现-带源码

精通Windows Sockets网络开发——基于Visual C++实现 目 录 第1篇网络开发基础篇 第1章准备开发环境 1.1windows sockets开发概述 1.1.1网络程序开发应用 1.1.2网络程序结构——c/s、b/s 1.1.3网络程序通信基础——网络协议 1.1.4网络程序通信技术——windows sockets介绍 1.2连接网络 1.2.1tcp/ip设置 1.2.2tcp/ip是否工作正常 1.2.3系统与网络适配器间的通信 1.2.4默认网关 1.2.5ping其他计算机ip地址 1.3创建应用程序 1.3.1控制台程序 1.3.2mfc应用程序 1.4调试两个应用程序 1.4.1启动两个工程 1.4.2将一个工程加入到另一个工程空间 1.5配置开发环境 1.6小结 第2章tcp/ip简介 2.1开放系统互连参考模型 2.2tcp/ip协议概述 2.2.1tcp/ip模型 2.2.2udp 2.2.3tcp 2.2.4端口 2.3小结 第3章windows sockets基础 3.1windows sockets 3.1.1应用程序与windows sockets的关系 3.1.2套接字 3.2协议特征 3.2.1面向连接与面向无连接 3.2.2可靠性与次序性 3.2.3面向消息 3.2.4部分消息 3.2.5从容关闭 3.2.6路由选择 3.2.7广播数据 3.3ip定址 3.3.1ip定址 3.3.2字节顺序问题 3.4基本tcp套接字编程 3.4.1wsastartup()函数 3.4.2socket()函数 3.4.3bind()函数 3.4.4listen()函数 3.4.5accept()函数 3.4.6recv()函数 3.4.7send()函数 3.4.8closesocket()函数 3.4.9shutdown()函数 3.4.10connect()函数 3.5tcp示例程序 3.5.1服务器实现 3.5.2客户端实现 3.6基本udp套接字编程 3.6.1recvfrom()函数 3.6.2sendto()函数 3.7udp示例程序 3.7.1服务器实现 3.7.2客户端实现 3.8套接字选项41 3.8.1getsockopt()函数 3.8.2setsockopt()函数 3.8.3sol_socket选项级别 3.9小结 第2篇visual c++网络模式开发篇 第4章阻塞模式开发 第5章非阻塞模式开发 第6章select模型开发 第7章wsaasyncselect模型开发 第8章wsaeventselect模型开发 第9章重叠i/o模型开发 第10章完成端口模型开发

2013-05-21

Android C++编译器

Android系统上的C++编译器,非常好用,想在手机上编程的同学有福啦~~~

2013-05-16

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除