- 博客(302)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 对象存储随非结构化数据增长而日渐流行
在Web2.0、云和数字内容爆发的时代，企业数据经理们在重新评估他们存储非机构化数据的同时，厂家推出他们的新的基于对象的存储系统来提供更加简单的管理和具有更佳扩展性的元数据格式。 在未来的3年内，预期非结构化数据的增长将超过结构化数据。据去年秋天发布的《IDC企业磁盘存储消费模型》报告，尽管交易类数据预期年增长率(compound annual growth rate ─，CAGR)为2
2012-04-10 16:18:30
1264
转载 BitSpread
Zenith's BitSpread technology ensures data is preserved the moment it is written. As virtual machines commit data to the Solid State Disk, the Solid State Disk immediately writes the data to another S
2012-04-10 16:09:10
1649
转载 Object-Based Storage Device
Abbreviated as OSD, an Object-Based Storage Device is a device that implements the standard in which data is organized and accessed asobjects, where object means an ordered set of bytes (withi
2012-04-10 11:58:42
779
转载 ANSI C标准文件IO操作
一，概述1 ANSI C文件系统建立在C语言早期版本的缓冲文件系统（也成为格式化或高级文件系统）之上。2 流与文件的差别：C的I/O系统提供的程序员和使用设备之间的一级抽象叫做流，物理设备叫做文件。C文件系统可在终端、磁盘驱动器和磁带驱动器的众多设备上工作，不管各种设备有多大差异，ANSI 文件系统都把他们转换成称之为“流”的逻辑设备，具有极大的设备无关性。在C语言中，文件这个逻辑概念
2012-04-09 18:24:07
559
转载 POSIX标准IO操作
POSIX标准IO操作分类： linux系统编程2011-01-27 20:48 61人阅读 评论(0) 收藏 举报一：ANSI C与 Posix CANSI C库函数是在用户态实现，流的相应资源也存在于用户态，但无论如何实现，最终要通过内核实现对文件的读写控制。因此，在fopen（）系列函数中必然调用了对操作系统的系统调用，这一系统调用在Linux系统下即
2012-04-09 18:22:47
790
转载 基于PVFS(并行虚拟文件系统)的并行网络存储系统 _浪潮
并行网络存储系统是浪潮存储开发的新一代网络存储系统。浪潮并行文件系统以PVFS作为开发原型，并在此基础上进行改进，使其与并行网络存储系统紧密结合。在这里，将对基于PVFS的浪潮并行文件系统作一个简单的介绍。 PVFS的优点和缺憾 在网络后台，以集群的形式来扩大数据存放空间已经成为一个不可避免的趋势，而在应用端，多机多个进程访问的需求也在日益增长。在这种应用的迫切需求下，并行文件系统便油
2012-04-05 12:02:48
1895
转载 并行虚拟文件系统（PVFS） _曹强
并行虚拟文件系统（PVFS）PVFS [2]（Parallel Virtual File System）项目是Clemson大学为了运行Linux集群而创建的一个开源项目，因此，PVFS也无需特别的硬件设备。普通的能运行Linux系统的PC机即可。PVFS现已被广泛地使用，很多分布式文件系统都是以PVFS为基础架构而设计实现的[3]，比如国内的浪潮并行文件系统。目前的版本是第二版[4]。
2012-04-05 11:59:15
7553
原创 通过socket的sendfile向pvfs的挂载client端写文件
(1) node15,node16为data server，node14为client端，在node14上安装了pvfs的内核模块，启动了pvfs2-client、pvfs2-client-core，将tcp://node15:3334/pvfs2-fs挂载到/mnt/pvfs2(2) server.c (以node14为socket的server端，接收文件，并写入/mnt/pvfs2/中)
2012-04-05 11:39:07
1168
原创 通过Socket通过Client向Server使用sendfile传文件
1. server.c (a)为了将传过来的文件保存为不同的文件内容，故用本机时间的十六进制作为文件名#include#include#include#include#include#include#include#include#include#include#include#include#define oops(msg) { perror(msg)
2012-04-01 19:02:58
3521
1
转载 Linux "零拷贝" sendfile函数中文说明及实际操作分析
Sendfile函数说明 #include ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);sendfile()是作用于数据拷贝在两个文件描述符之间的操作函数.这个拷贝操作是内核中操作的,所以称为"零拷贝".sendfile函数比起read和write函数高效得多,因为read和write是要
2012-04-01 13:00:05
932
原创 Zero Copy I: User-Mode Perspective
http://www.linuxjournal.com/article/6345?page=0,2Explaining what is zero-copy functionality for Linux, why it's useful and where it needs work.By now almost everyone has heard of so-ca
2012-04-01 12:54:01
573
转载 用socket实现简单的文件传输
http://atu82.bokee.com/4667560.html服务器端：#include #include #include #include #include #include #include #include #define SERVPORT 6666#define MAXDATASIZE 1024 /*每次最大数据传输量 */ #
2012-04-01 12:23:05
1081
转载 sendfile 和epool
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);linux下支持sendfile,这样发送文件，可以直接通过内核调用，减少了到应用程序读写两道操作程序，并降低了内存的使用。看man文档，sendfile在2.6.9以后，infd只能是普通文件，outfd必须是socket。经过试验，在linux9
2012-04-01 12:19:19
4819
1
转载 windows socket编程
一、TCP/IP 体系结构与特点 1、TCP/IP体系结构 TCP/IP协议实际上就是在物理网上的一组完整的网络协议。其中TCP是提供传输层服务，而IP则是提供网络层服务。TCP/IP包括以下协议：（结构如图1.1）(图1.1) IP： 网间协议(Internet Protocol) 负责主机间数据的路由和网络上数据的存储。同时为ICMP，TCP， UDP提供分组发送
2012-03-31 16:14:48
3072
原创 Linux 环境下 socket通信 TimeServer TimeClient
1. server提供时间查询 (a) 先设定socket，bind地址，listen。 (b) 论循accept请求得到文件描述符fd，用fdopen打开这个特殊文件，借助fprintf写文件，关闭文件描述符fd。 (c) 但一直未关闭socket，因为while(1)循环持续运行。server.c#include#include#includ
2012-03-31 15:12:46
906
转载 sockaddr与sockaddr_in结构体简介
struct sockaddr {unsigned short sa_family; /* address family, AF_xxx */char sa_data[14]; /* 14 bytes of protocol address */};sa_family是地址家族，一般都是“AF_xxx”的形式。好像通常大多用的是都是AF
2012-03-30 19:28:24
445
转载 关于AF_INET和PF_INET
AF表示ADDRESS FAMILY地址族PF 表示PROTOCL FAMILY协议族Winsock2.h中#define AF_INET 0#define PF_INET AF_INET所以在windows中AF_INET与PF_INET完全一样而在Unix/Linux系统中，在不同的版本中这两者有微小差别对于BSD,是AF,对于POSIX是P
2012-03-30 17:08:33
508
原创 通过调用标准库函数向pvfs的client挂载端写文件
(1) 以node14作为pvfs2的client端 (见http://blog.csdn.net/amaowolf/article/details/7372288) (a)安装PVFS2的内核模块 (b)用pvfs2-client 启动pvfs2-client-core (c)挂载node15（或node16)的 tcp//node15:
2012-03-30 14:52:35
922
原创 C++ 文件读写(拷贝)/Makefile
1. C++ 代码 (copy.cpp)#include#include#includeusing namespace std;int main(int argc, char *argv[]){ if(argc != 3){ cerr<<"error: no source file or target file."<<endl;
2012-03-30 13:53:08
1797
转载 Linux Socket编程（不限Linux）
http://www.cnblogs.com/skynet/archive/2010/12/12/1903949.html“一切皆Socket！”话虽些许夸张，但是事实也是，现在的网络编程几乎都是用的socket。——有感于实际编程和开源项目研究。我们深谙信息交流的价值，那网络中进程之间如何通信，如我们每天打开浏览器浏览网页时，浏览器的进程怎么与web服务器通信的？当你用Q
2012-03-28 15:07:31
764
转载 Win Socket编程指南及示例程序
http://www.blogjava.net/wxb_nudt/archive/2007/11/01/157623.html例子代码就在我的博客中，包括六个UDP和TCP发送接受的cpp文件，一个基于MFC的局域网聊天小工具工程，和此小工具的所有运行时库、资源和执行程序。代码的压缩包位置是http://www.blogjava.net/Files/wxb_nudt/socket_src.
2012-03-28 15:05:31
6682
2
转载 基于PVFS的并行网络存储系统
[导读]所谓并行文件系统，是指应用于多机环境的网络文件系统，单个文件的数据采用分条等形式存放于不同的I/O节点之上，支持多机多个进程的并发存取，同时支持元数据和数据的分布存放，并提供单一的目录空间。 并行网络存储系统是浪潮存储开发的新一代网络存储系统。浪潮并行文件系统以PVFS作为开发原型，并在此基础上进行改进，使其与并行网络存储系统紧密结合。在这里，将对基于PVFS的浪潮并行文件系统作一个
2012-03-28 09:16:59
757
转载 浪潮中标北京大学高性能计算研究项目
2012年02月02日10:08 it168网站原创 作者：于泽 编辑：于泽 评论：0条 【IT168 资讯】日前，北京大学选择浪潮集团建设超级计算系统作为大气模拟领域科研工作的高性能计算平台。 随着社会经济的发展，政府、社会和公众对气象预报和服务提出了更高的要求，特别是一些特殊气象保障任务需要预报员提供定点、定时、定量的精细气象预报和服务。而对于现代天气预报而言，
2012-03-21 15:57:11
1009
原创 PVFS2支持RIMIO，最终支持MPICH2应用程序
//=====================================要使PVFS2支持ROMIO，最终支持MPICH2，其主要是在安装MPICH2时指定PVFS2的安装位置如此之后，应用程序(例如MPI)可以通过MPI-IO直接访问PVFS2，绕开内核接口。(注意：文件格式为 pvfs2: filename，即在文件名前加pvfs2:)//================
2012-03-21 10:52:12
1185
转载 Linux下patch的制作和应用
1、diff －－－－－－－－－－－－－－－－－－－－ NAME diff - find differences between two files SYNOPSIS diff [options] from-file to-file －－－－－－－－－－－－－－－－－－－－ 简 单的说，diff的
2012-03-20 17:59:53
359
原创 PVFS2日志配置与排错
//===========================================================服务器端的日志配置(1)常规排错可查看日志文件 /var/log/messages 和 /tmp/pvfs2-server.log(2) 配置更详细的日志[root@node15 share]# cat /etc/pvfs2-fs.conf
2012-03-20 11:59:27
657
原创 在client端安装PVFS2内核模块
(1)编译、拷贝PVFS2内核模块[root@node16 pvfs-2.8.2]# make kmod (编译内核模块，完成后会在src/kernel/linux-2.6/发现pvfs2.ko文件)[root@node15 pvfs-2.8.2]# make kmod_install (拷贝内核模块)注解：在这个过程中会执行install -d //lib/module
2012-03-20 10:53:40
1165
转载 linux modprobe命令参数及用法详解--linux加载模块命令
modprobe(module probe)功能说明：自动处理可载入模块。语 法：modprobe [-acdlrtvV][--help][模块文件][符号名称 = 符号值]补充说明：modprobe可载入指定的个别模块，或是载入一组相依的模块。modprobe会根据depmod所产生的相依关系，决定要载入哪些模块。若在载入过程中发生错误，在modprobe会卸载整组的模块。
2012-03-16 17:56:45
649
转载 linux程序开发入门
前一阵子在QQ上和朋友聊天的时候，总会看到有人说Linux上的应用程序开发是高手才可以完成的，而且这种“迷信”在目前似乎还很普遍。然而，情况并不是这样的，从程序库的支持方面，Linux平台为用户级应用程序的开发提供了很多功能强大且丰富的程序库，而且它们大部分是跨平台的（Boost、OpenGL、STL、Qt、Java等）和基于POSIX标准的（glibc等），同时Linux内核还为驱动程序的开发提
2012-03-15 10:29:58
637
转载 安装Berkeley DB
Berkeley DB是由美国Sleepycat Software公司开发的一套开放源代码的嵌入式数据库管理系统（已被Oracle收购），它为应用程序提供可伸缩的、高性能的、有事务保护功能的数据管理服务。Berkeley DB为许多编程语言提供了实用的api接口，包括c、c++、java、perl、tcl、python和php等。所有同数据库相关的操作都由Berkeley DB函数库负责统一完
2012-03-12 12:41:15
1549
转载 算法方面的书
1.The Art of Computer Programming作者：Donald E. Knuth出版社：中文版由国防大学出版社发行，中文译本书名为《计算机程序设计艺术》，目前市场上买不到，但是听说快要出第三版的中文版了（已经出版了，我在海定图书城看到了，安安注）。网络资源：作者主页： http://www-cs-faculty.stanford.edu/~knuth/
2012-03-12 11:11:25
917
转载 Hadoop相关网络资源汇总
Hadoop相关网络资源汇总(NOTE: 之前研究过的一些hadoop相关资料，在这里汇总起来，方便他人学习)第一手资源hadoop官方网站hadoop.apache.org最权威的官方资源之一dev.yahoo.hadoophadoop.cn(偶尔有一些有用信息)www.hadoop.org.cn
2012-03-12 09:35:22
657
原创 template函数和template类
#includeusing namespace std;template class Poly{private: Type base; Type height;public: Poly(Type b = 0, Type h = 0):base(b),height(h){} Type getArea()const{
2012-03-11 21:20:02
572
转载 RISC与CISC比较
RISC与CISC比较分类： W.无线前线 P.OS-操作系统 & 内核2009-09-12 12:36 6754人阅读 评论(6) 收藏 举报RISC的设计重点在于降低由硬件执行指令的复杂度，因为软件比硬件容易提供更大的灵活性和更高的智能，因此RISC设计对编译器有更高的要求；CISC的设计则更侧重于硬件执行指令的功能，使CISC的指令变得很复杂。总之
2012-03-10 18:19:01
1621
原创 BDB安装
(1) 解压后，在/root/soft/db-4.8.30/build_unix目录下执行 [root@node14 build_unix]# pwd /root/soft/db-4.8.30/build_unix ../dist/configure make make install (默认
2012-03-09 19:09:27
1760
原创 reverse a linked list
Question: Write a function (in C# or C++)to reverse a linked list. Given a data structure: C++: class Node {
2012-03-06 10:09:58
485
转载 巅峰对决：Hypertable(C++)吞吐率测试完胜HBase(Java)
导读：众所周知，2006年Google公布了自己的BigTable论文，作为Google继GFS和MapReduce两项创新之后的又一项创新，其在设计用来针对海量数据处理情形下的管理结构型数据方面具有着巨大的技术优势。而Hypertable和HBase是最知名的两款基于BigTable为蓝本设计的数据库，他们的不同之处在于Hypertable基于C++实现，而HBase则基于Java。两种数据库的
2012-03-06 09:33:11
650
转载 NFS迈向并行领域
网络文件系统（NFS）协议在不到10年的时间内得到了巨大的发展，尤其是深入地渗透到终端用户领域。一群存储专家出于兴趣开发出了NFS 4.1版本，希望借此来释放新的性能和安全能力，尤其是针对企业级数据中心而言。NFS最初的设计是为了解决从远程对家庭目录的访问、通过本地局域网对无磁盘工作站和服务器的支持等问题。随着廉价高性能计算于Linux计算集群、多核处理器和刀片的形式到来，人们对高性能文件
2012-02-28 14:51:50
1142
原创 SMB/CIFS/Samba
SMB（Server Message Block，又称Common Internet File System（CIFS））是由微软开发的一种软件程序级的网络传输协议，主要用来使得一个网络上的机器共享计算机文件、打印机、串行端口和通讯等资源。它也提供认证的行程间通讯机能。它主要用在装有Microsoft Windows的机器上，在这样的机器上被称为Microsoft Windows Network。
2012-02-27 11:46:47
14472
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人