- 博客(16)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 同步IO 异步IO
IO基本概念Linux的内核将所有外部设备都可以看做一个文件来操作。那么我们对与外部设备的操作都可以看做对文件进行操作。我们对一个文件的读写，都通过调用内核提供的系统调用；内核给我们返回一个file descriptor（fd,文件描述符）。对一个socket的读写也会有相应的描述符，称为socketfd(socket描述符）。描述符就是一个数字(可以理解为一个索引)，指向内核中一个结构体（文
2016-12-22 16:53:19
3736
1
原创 内网服务器通过代理上网
1. 安装proxychainsvim ./proxychains.conf 找到[ProxyList] #把端口改成你要用的。 socks5 127.0.0.1 7070 错误：1.ERROR: ld.so: object 'libproxychains.so' from LD_PRELOAD cannot be preloaded: ignored.查找/b
2016-12-16 15:03:32
4226
转载 Linux系统配置免密登录
Linux系统配置免密码的方式：1.生成密钥ssh-keygen -t rsa2.把本机的公钥追到jifeng02的 .ssh/authorized_keys 里ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.13.如果ssh的端口不是22，可用下面命令ssh-copy-id -i ~/.ssh
2016-12-15 14:51:54
1933
转载 linux send与recv函数详解
linux send与recv函数详解1 #include 2 ssize_t recv(int sockfd, void *buff, size_t nbytes, int flags);3 ssize_t send(int sockfd, const void *buff, size_t nbytes, int flags);recv 和send的前3个参数
2016-12-15 14:20:03
346
转载 GCC常用编译选项
-g 只是编译器，在编译的时候，产生调试信息-C 在预处理的时候,不删除注释信息,一般和-E使用,有时候分析程序，用这个很方便的 -M 生成文件关联的信息。包含目标文件所依赖的所有源代码你可以用gcc -M hello.c 来测试一下，很简单。 -pipe:管道,它可以用来同时连接两个程序,其中一个程序的输出将直接作为另一个程序的输入,这样就可以避免使用临时文
2016-12-12 15:52:52
507
转载 GDB调试多线程
http://hi.baidu.com/hcq11/blog/item/9f5bfc6e696209d680cb4a25.html http://hi.baidu.com/litto/blog/item/759389dd198111375882dd1e.html http://blogold.chinaunix.net/u3/94700/showart_2389432.html 先
2016-12-12 15:33:00
321
转载 HADOOP1.X中HDFS工作原理
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。（商用机）
2016-12-09 17:22:15
221
转载 分布式系统CAP理论
CAP理论在互联网界有着广泛的知名度，知识稍微宽泛一点的工程师都会把其作为衡量系统设计的准则。大家都非常清楚地理解了CAP：任何分布式系统在可用性、一致性、分区容错性方面，不能兼得，最多只能得其二，因此，任何分布式系统的设计只是在三者中的不同取舍而已。事实上，让人吃惊的是，CAP在国外的响力完全不如所想，相反还伴随着诸多的争论。下面我们系统地阐述一下CAP的来龙去脉。1.CAP的历史1
2016-12-09 15:14:46
2083
转载 分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较
存储MooseFS(MFS)CephGlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈。无，不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。
2016-12-06 10:42:30
1091
1
转载 分布式文件系统，独立mds与无独立mds优缺点比较
文件系统中metadata是一个关键元素，每一个分布式文件系统的核心所在就是mds的设计。类似HDFS，Clustre，FastDFS等等分布式文件系统采用的是独立的mds架构，Ceph采用的是讲mds也分布开的设计架构，Gluster的设计是将metadata跟数据文件结合方式来存储，基本上只存跟本地文件有关的metadata消息。下面将Gluster作为无独立mds的代
2016-12-06 10:32:07
2605
转载 Glusterfs之小文件优化
小文件优化主要是通过优化文件操作的过程和iocache来达到优化的目的。一、小文件速度比较快的存储系统的特点（fastdfs，mogilefs（主要适合小文件），swift（小于50KB速度很快））：1）通过定位器直接可以定位文件存储的节点，而不用遍历所有节点；2）文件路径长度一定，不会造成路径深度不一致，不会造成查询时间不一致；3）要读取一个文件一般分为2个步骤：
2016-12-05 17:20:46
3180
转载 GlusterFS架构与维护
官方网站：http://www.gluster.org/下载地址：http://download.gluster.org/pub/gluster/glusterfs/GlusterFS 外部架构 GlusterFS总体架构与组成部分如图2所示，它主要由存储服务器（BrickServer）、客户端以及NFS/Samba 存储网关组成。不难发现，GlusterFS
2016-12-05 16:58:08
1352
转载 Hadoop一般用在哪些业务场景
其实我们要知道大数据的实质特性：针对增量中海量的结构化，非结构化，半结构数据，在这种情况下，如何快速反复计算挖掘出高效益的市场数据？带着这个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？比如1.银行的信用卡业务，当你正在刷卡完一笔消费的那一瞬间，假如在你当天消费基础上再消费满某个额度，你就可以免费
2016-12-05 16:12:29
2988
转载 Hadoop简介
本节向大家描述一下Hadoop简介，本节主要介绍Hadoop中两个重要的组成部分HDFS和MapReduce，希望通过本节的介绍大家对Hadoop有初步的认识。Hadoop简介Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开
2016-12-05 16:01:03
245
转载 HDFS架构设计
转载：http://blog.csdn.net/mindfloating/article/details/47842495本文以 Hadoop 提供的分布式文件系统（HDFS）为例来进一步展开解析分布式存储服务架构设计的要点。架构目标任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么？分布式文件系统属于分布式
2016-12-05 15:50:23
325
转载 gfs和hdfs文件系统的区别
转载:http://blog.csdn.net/mindfloating/article/details/49103611我们知道 HDFS 最早是根据 GFS（Google File System）的论文概念模型来设计实现的。 然后呢，我就去把 GFS 的原始论文找出来仔细看了遍，GFS 的整体架构图如下： HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS
2016-12-05 15:45:01
26886
1
深入编程内幕.pdf
2015-03-28
C++编程指南.pdf
2015-03-28
Berkeley DB 资料
2010-09-21
linux c函数速查手册
2009-10-13
lcd ampire128x64 的使用 proteus
2009-05-17
autocad做的小户型平面图
2009-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人