bill2012x-CSDN博客

转载 linux 下各errno的意义

strerror(errno)：获取errno对应的错误/****************************获取错误代码描述**************/#include /* for strerror */#include #include int main(int argc, char ** argv) {int i = 0;for(i = 0; i

2013-08-09 15:32:27 937

转载内部排序法总结

原文：http://www.cnblogs.com/luxiaoxun/archive/2012/09/01/2666677.html 1.冒泡排序（Bubble Sort）冒泡排序方法是最简单的排序方法。这种方法的基本思想是，将待排序的元素看作是竖着排列的“气泡”，较小的元素比较轻，从而要往上浮。在冒泡排序算法中我们要对这个“气泡”序列处理若干遍。所谓一遍处理，就是自底向上检查一遍这

2013-07-09 17:35:04 706

原创 Lustre、HDFS、MogileFS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS

1. Lustre lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数量存储系统。　　lustre是开放源代码的集群文件系统，采取GPL许可协议，目前在集群计算机里，计算机与磁盘间数据交换的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序

2013-07-08 22:54:15 6634

转载 linux创建读写文件

#include #include #include #include #include #include #include #define BUFFER_SIZE 1024int main(int argc,char **argv){ int from_fd,to_fd; int bytes_read,bytes_write;

2013-07-03 17:16:21 965

转载 Hadoop在MapReduce中使用压缩详解

hadoop对于压缩文件的支持hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们将压缩的文件解压，而不用我们去关心。如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip2等），hadoop就会根据扩展名去选择解码器解压。hadoop对每个压缩格式的支持,详细见下表：压缩格式工具算法

2013-07-02 11:59:33 719

转载 Illegal Instruction 错误初窥

source :http://www.lingcc.com/2011/11/28/11851/ 1 现象当执行一段程序时，发生错误，并报”illegal instruction”错typedef void(*FUNC)(void);int main(void){ const static unsigned char insn[4] = { 0xff, 0xf

2013-06-23 15:53:58 1217

"这里有一个关于 BSD vs Linux的古老说法：” BSD is what you get when a bunch of UNIX hackers sit down to try to port a UNIX system to the PC. Linux is what you get when a bunch of PC hackers sit down and try to writ

2013-06-06 14:42:01 1146

原创 C语言获得函数的执行时间

1. 精确到秒，计时单位为秒#include time_t start_time,end_time; /*长整形数据，time_t为time.h中的宏定义，原型为#define long time_t*/ start_time=time（NULL）； /*记录循环开始的时间*/ /************************ * 循环或函数的

2013-06-04 19:45:29 1411

转载 HDFS简单读写分析

文件读取的过程如下：使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求； Namenode会视情况返回文件的部分或者全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址；客户端开发库Client会选取离客户端最接近的DataNode来读取block；如果客户端本身就是DataNode,那么将从本地直接获取

2013-06-03 11:19:54 782

转载 Pig Hive对比

Pig Latin：数据流编程语言一个Pig Latin程序是相对于输入的一步步操作。其中每一步都是对数据的一个简单的变换。用Pig Latin编程更像在RDBMS中“查询规划器”（query planner）这一层对数据进行操作，查询规划器决定了如何将描述型语句转化为一系列系统化执行的步骤。Pig对它所处理的数据要求则宽松得多；可以在运行时定义模式，而且这是可选的。本质上，Pig可以

2013-05-17 16:09:42 709

转载 Cassandra

Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发，用于储存特别大的数据。Facebook目前在使用此系统。主要特性：分布式基于column的结构化高伸展性Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra 的一个写操作，会被复制到其他节点上去，对Cassan

2013-05-17 14:32:50 650

翻译 Event Notification -----HCatalog

Overview由于事件通知机制的引入，用户可以得到通知如果他注册的事件发生。其中事件共有六种类型: add_database, add_table, add_partition, drop_partition, drop_table, drop_database. 当特定的事件发生，消息会被发送到消息总线上。任何用户都可以通过注册该事件去获得此消息。一旦注册，消息总线会将特定的消息发送到其

2013-05-17 14:27:19 1612

转载 NoSQL比较：Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Membase vs Neo4j

本文详细介绍这几个 NoSQL 服务器的特点以及适用的场合！CouchDBWritten in: Erlang Main point: DB consistency, ease of use License: Apache Protocol: HTTP/REST Bi-directional (!) replication, continuous or ad-hoc, with c

2013-05-03 13:48:44 3372

原创 REST

REST (Representational state transfer) Representational state transfer是一种分布式系统的软件架构风格，是一种Web API的设计模式。REST风格的架构一般是由客户端和服务器两部分组成，客户端向服务器端发送请求，服务器端处理请求并返回相应的响应。约束：1. 客户端-服务器描述

2013-04-27 13:55:58 802

原创 HCatalog 简介

定义•A table and storage management layer for Hadoop that enables users with different data process tool-Pig, MapReduce and Hive – to more easily read and write data on the grid. HCatalog屏蔽了底层数据存储

2013-04-26 17:38:31 2724

转载 Python多线程学习

from: http://www.cnblogs.com/tqsummer/archive/2011/01/25/1944771.html 一、Python中的线程使用： Python中使用线程有两种方式：函数或者用类来包装线程对象。1、函数式：调用thread模块中的start_new_thread()函数来产生新线程。如下例： import time

2013-04-24 16:45:09 688

转载 atexit （注册终止函数）

函数名: atexit头文件:#include功能: 注册终止函数(即main执行结束后调用的函数)用法: int atexit(void (*func)(void));注意：按照ISO C的规定，一个进程可以登记多达32个函数，这些函数将由exit自动调用。atexit（）注册的函数类型应为不接受任何参数的void函数,exit调用这些注册函数的顺序与它们登记时候的顺序相反

2013-04-17 15:51:06 835

原创 Data Pipelines

Understanding Data Pipelines “AWS Data Pipeline is a web service that provides a simple management system for data-driven workflows. Using AWS Data Pipeline, you define a pipeline composed of th

2013-04-11 15:34:22 953

原创六人集会问题

1958年6/7月号的《美国数学月刊》上有这样一道题目：证明在任意6人的集会上，有3个人以前彼此都相识，或者有3个人以前彼此不相识，这两者必居其一。在6人中任选一人（称为主人），他与其他5人的关系，可以分成两类：认识的和不认识的。5人分2类，至少有一类是3人以上（抽屉原理）。假设认识的至少有3人，这3人如果互相全不认识，就满足问题中后一条件。否则，至少有两人认识，再加上主人

2013-04-03 17:09:12 3868

原创 poj 1017

#includeusing namespace std;int main(){ start: int quit = 0; int products[6] = {0}; int ind = 0; do { cin >> products[ind]; quit = quit|products[ind]; ind = (++ind); }wh

2013-04-01 15:59:46 626

One-Game