- 博客(16)
- 资源 (15)
- 收藏
- 关注
原创 同步IO 异步IO
IO基本概念Linux的内核将所有外部设备都可以看做一个文件来操作。那么我们对与外部设备的操作都可以看做对文件进行操作。我们对一个文件的读写,都通过调用内核提供的系统调用;内核给我们返回一个file descriptor(fd,文件描述符)。对一个socket的读写也会有相应的描述符,称为socketfd(socket描述符)。描述符就是一个数字(可以理解为一个索引),指向内核中一个结构体(文
2016-12-22 16:53:19 3743 1
原创 内网服务器通过代理上网
1. 安装proxychainsvim ./proxychains.conf 找到[ProxyList] #把端口改成你要用的。 socks5 127.0.0.1 7070 错误:1.ERROR: ld.so: object 'libproxychains.so' from LD_PRELOAD cannot be preloaded: ignored.查找/b
2016-12-16 15:03:32 4254
转载 Linux系统配置免密登录
Linux系统配置免密码的方式:1.生成密钥ssh-keygen -t rsa2.把本机的公钥追到jifeng02的 .ssh/authorized_keys 里ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.13.如果ssh的端口不是22,可用下面命令ssh-copy-id -i ~/.ssh
2016-12-15 14:51:54 1937
转载 linux send与recv函数详解
linux send与recv函数详解1 #include 2 ssize_t recv(int sockfd, void *buff, size_t nbytes, int flags);3 ssize_t send(int sockfd, const void *buff, size_t nbytes, int flags);recv 和send的前3个参数
2016-12-15 14:20:03 354
转载 GCC常用编译选项
-g 只是编译器,在编译的时候,产生调试信息-C 在预处理的时候,不删除注释信息,一般和-E使用,有时候分析程序,用这个很方便的 -M 生成文件关联的信息。包含目标文件所依赖的所有源代码你可以用gcc -M hello.c 来测试一下,很简单。 -pipe:管道,它可以用来同时连接两个程序,其中一个程序的输出将直接作为另一个程序的输入,这样就可以避免使用临时文
2016-12-12 15:52:52 525
转载 GDB调试多线程
http://hi.baidu.com/hcq11/blog/item/9f5bfc6e696209d680cb4a25.html http://hi.baidu.com/litto/blog/item/759389dd198111375882dd1e.html http://blogold.chinaunix.net/u3/94700/showart_2389432.html 先
2016-12-12 15:33:00 327
转载 HADOOP1.X中HDFS工作原理
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。(商用机)
2016-12-09 17:22:15 231
转载 分布式系统CAP理论
CAP理论在互联网界有着广泛的知名度,知识稍微宽泛一点的工程师都会把其作为衡量系统设计的准则。大家都非常清楚地理解了CAP:任何分布式系统在可用性、一致性、分区容错性方面,不能兼得,最多只能得其二,因此,任何分布式系统的设计只是在三者中的不同取舍而已。事实上,让人吃惊的是,CAP在国外的响力完全不如所想,相反还伴随着诸多的争论。下面我们系统地阐述一下CAP的来龙去脉。1.CAP的历史1
2016-12-09 15:14:46 2086
转载 分布式文件系统MFS、Ceph、GlusterFS、Lustre的比较
存储MooseFS(MFS)CephGlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS,不存在单点故障和瓶颈。MDS可以扩展,不存在瓶颈。无,不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。
2016-12-06 10:42:30 1116 1
转载 分布式文件系统,独立mds与无独立mds优缺点比较
文件系统中metadata是一个关键元素,每一个分布式文件系统的核心所在就是mds的设计。类似HDFS,Clustre,FastDFS等等分布式文件系统采用的是独立的mds架构,Ceph采用的是讲mds也分布开的设计架构,Gluster的设计是将metadata跟数据文件结合方式来存储,基本上只存跟本地文件有关的metadata消息。下面将Gluster作为无独立mds的代
2016-12-06 10:32:07 2620
转载 Glusterfs之小文件优化
小文件优化主要是通过优化文件操作的过程和iocache来达到优化的目的。一、小文件速度比较快的存储系统的特点(fastdfs,mogilefs(主要适合小文件),swift(小于50KB速度很快)):1)通过定位器直接可以定位文件存储的节点,而不用遍历所有节点;2)文件路径长度一定,不会造成路径深度不一致,不会造成查询时间不一致;3)要读取一个文件一般分为2个步骤:
2016-12-05 17:20:46 3206
转载 GlusterFS架构与维护
官方网站:http://www.gluster.org/下载地址:http://download.gluster.org/pub/gluster/glusterfs/GlusterFS 外部架构 GlusterFS总体架构与组成部分如图2所示,它主要由存储服务器(BrickServer)、客户端以及NFS/Samba 存储网关组成。不难发现,GlusterFS
2016-12-05 16:58:08 1365
转载 Hadoop一般用在哪些业务场景
其实我们要知道大数据的实质特性:针对增量中海量的结构化,非结构化,半结构数据,在这种情况下,如何快速反复计算挖掘出高效益的市场数据?带着这个问题渗透到业务中去分析,就知道hadoop需要应用到什么业务场景了!!!如果关系型数据库都能应付的工作还需要hadoop吗?比如1.银行的信用卡业务,当你正在刷卡完一笔消费的那一瞬间,假如在你当天消费基础上再消费满某个额度,你就可以免费
2016-12-05 16:12:29 3036
转载 Hadoop简介
本节向大家描述一下Hadoop简介,本节主要介绍Hadoop中两个重要的组成部分HDFS和MapReduce,希望通过本节的介绍大家对Hadoop有初步的认识。Hadoop简介Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开
2016-12-05 16:01:03 248
转载 HDFS架构设计
转载:http://blog.csdn.net/mindfloating/article/details/47842495本文以 Hadoop 提供的分布式文件系统(HDFS)为例来进一步展开解析分布式存储服务架构设计的要点。架构目标任何一种软件框架或服务都是为了解决特定问题而产生的。还记得我们在 《分布式存储 - 概述》一文中描述的几个关注方面么?分布式文件系统属于分布式
2016-12-05 15:50:23 328
转载 gfs和hdfs文件系统的区别
转载:http://blog.csdn.net/mindfloating/article/details/49103611我们知道 HDFS 最早是根据 GFS(Google File System)的论文概念模型来设计实现的。 然后呢,我就去把 GFS 的原始论文找出来仔细看了遍,GFS 的整体架构图如下: HDFS 参照了它所以大部分架构设计概念是类似的,比如 HDFS
2016-12-05 15:45:01 26956 1
Berkeley DB 资料
2010-09-21
linux c函数速查手册
2009-10-13
lcd ampire128x64 的使用 proteus
2009-05-17
autocad做的小户型平面图
2009-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人