分布式文件系统
文章平均质量分 67
golden_lion
这个作者很懒,什么都没留下…
展开
-
使用FastDFS遇到问题记录
Q1.通过命令行上传文件时出现错误:tracker_query_storage_fail,error no:28, error info No space left on device——2010-7-27已解决原因:tracker.conf的配置项reserved_storage_space的值默认为4GB,而当前环境下剩余空间已不足4GB。解决:根据实际空间情况修改配置转载 2016-05-24 09:46:29 · 10838 阅读 · 1 评论 -
hadoop hdfs环境搭建
参考:http://wiki.apache.org/hadoop/GettingStartedWithHadoophttp://blog.csdn.net/warmspace2008/article/details/8540159 hadoop环境搭建参考官方wiki,首先下载hadoop官方包,我选择的是hadoop-1.2.1。conf目录新增配置文件:转载 2016-05-23 09:53:40 · 559 阅读 · 0 评论 -
分布式系统里session同步的那些事儿
几周前,有个盆友问老王,说现在有多台服务器,怎么样来解决这些服务器间的session同步问题?老王一下就来精神了,因为在n年以前,老王还在学校和几个同学一起所谓创业的时候,也遇到了类似的问题。当时查了很多资料,没有解决,于是后来投身百度,终于学到了“葵花宝典”,方才大彻大悟。所以,今天想跟大家分享一下关于session同步的那些事儿。 秉着问题驱动的原则,老王先提几个问题:转载 2016-06-12 10:24:39 · 12377 阅读 · 5 评论 -
gluster 安装配置基本指南
基于网络上的多篇文章,做了一些调整。gluster安装### Installing Glusterwget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/glusterfs-epel.repoyum install glusterfs{-fu转载 2016-06-06 17:26:56 · 1362 阅读 · 0 评论 -
GlusterFS集群文件系统概述
http://blog.csdn.net/zonelan/article/details/84683831. GlusterFS概述GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或Infini转载 2016-06-06 17:27:48 · 1507 阅读 · 0 评论 -
MySQL主从复制配置
http://www.blogjava.net/dongbule/archive/2010/08/22/329602.htmlMySQL的主从复制至少是需要两个Mysql的服务,当然Mysql的服务是可以分布在不同的服务器上,也可以在一台服务器上启动多个服务。(1)首先确保主从服务器上的Mysql版本相同(2)在主服务器上,设置一个从数据库的账户,使用R转载 2016-06-06 17:28:51 · 242 阅读 · 0 评论 -
分布式文件系统综述
http://mss.sjtu.edu.cn/bencandy.php?fid=14&id=149xiaoyongli@sjtu.edu.cn上海交通大学 海量存储与安全实验室 2010年9月分布式文件系统均为Client/Server架构。数据保存在服务器端,而客户端的应用程序能够像访问本地文件系统一样访问位于远程服务器上的文件。在client通常都对文件数据转载 2016-06-06 17:30:13 · 1431 阅读 · 0 评论 -
FastDFS安装、配置、部署(一)-安装和部署
版权声明:本文为博主原创文章,未经博主允许不得转载。 FastDFS是一个开源的,高性能的的分布式文件系统,他主要的功能包括:文件存储,同步和访问,设计基于高可用和负载均衡,FastDFS非常适用于基于文件服务的站点,例如图片分享和视频分享网站FastDFS有两个角色:跟踪服务(tracker)和存储服务(storage),跟踪服务控制,调度文件以负载均衡的方式访问;转载 2016-06-15 14:43:03 · 656 阅读 · 0 评论 -
FastDFS安装、配置、部署(二)-Tracker配置详解
1、基本配置# is this config file disabled# false for enabled# true for disableddisabled=false# bind an address of this host# empty for bind all addresses of this hostbind_addr=10.16.123.132#转载 2016-06-15 14:43:33 · 546 阅读 · 0 评论 -
hadoop 分布式环境搭建与hdfs简单实用
Hadoop HDFS分布式环境搭建最近选择给大家介绍Hadoop HDFS系统,因此研究了一下如何在Linux 下配置一个HDFS Clust。小记一下,以备将来进一步研究和记忆。HDFS简介全称 Hadoop Distributed File System, Hadoop分布式文件系统。 根据Google的GFS论文,由Doug Cutting使用JAVA开发的转载 2016-05-23 09:52:34 · 462 阅读 · 0 评论 -
【Hadoop】搭建完全分布式的hadoop
博客已转移,请借一步说话!http://www.weixuehao.com/archives/577 下面博文已更新,请移步 ↑ 用于测试,我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。 1、安装虚拟机环境 Vmware,收费产品转载 2016-05-23 09:51:10 · 363 阅读 · 0 评论 -
CentOS FastDFS配置之常见错误
FastDFS 常见问题Q:/fdfs_trackerd: error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directoryA:export LD_LIBRARY_PATH=/usr/loal/lib(libevent的安装路径转载 2016-05-24 09:48:13 · 31385 阅读 · 0 评论 -
Fdfs错误tracker_query_storage fail, error no: 2, ...
[ 解决方法] – DFS-A 重启tracker /usr/local/bin/restart.sh /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.confroot@larrydfs-desktop:# /usr/转载 2016-05-24 09:50:20 · 12991 阅读 · 0 评论 -
详解集群内Session高可用的实现原理
在这个互联网高度发达的时代,许多应用的用户动辄成百上千万,甚至上亿。为了支持海量用户的访问,应用服务器集群这种水平扩展的方式是最常用的。这种情形下,就会涉及到许多单机环境下完全不需要考虑的问题,这其中session的创建、共享和存储是最常见之一。在单机环境中,Session的创建和存储都是由同一个应用服务器实例来完成,而存储也仅是内存中,最多会在正常的停止服务器的时候,把当前活转载 2016-05-30 09:03:48 · 1521 阅读 · 0 评论 -
分布式文件系统
分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动转载 2016-05-18 09:30:28 · 946 阅读 · 0 评论 -
各种分布式文件系统简介
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。 Google学术论文,这是众多分布式文件系统的起源==================================Google Fil转载 2016-05-18 09:31:19 · 585 阅读 · 0 评论 -
当下流行的分布式文件系统大阅兵
本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括:Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。 Lustre(www.lustre.org) ... 本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系转载 2016-05-18 09:34:33 · 8159 阅读 · 0 评论 -
常见的分布式文件系统介绍
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存 储服务。Google学术论文,这是众多分布式文件系统的起源==================================Google File System(大规模分转载 2016-05-18 09:35:10 · 23902 阅读 · 1 评论 -
分布式基础学习(1)--分布式文件系统
分布式基础学习所谓分布式,在这里,很狭义的指代以Google的三驾马车,GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。通常如我一样初学的人,会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图,已可窥见其几分风韵,但终究还是由于缺少一些实现的代码和示例,色彩有些斑驳,缺少了点感性。幸好我们还有Open Source,还有H转载 2016-05-18 09:37:11 · 1100 阅读 · 0 评论 -
分布式基础学习(2)分布式计算系统(Map/Reduce)
二. 分布式计算(Map/Reduce)分布式式计算,同样是一个宽泛的概念,在这里,它狭义的指代,按Google Map/Reduce框架所设计的分布式框架。在Hadoop中,分布式文件系统,很大程度上,是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统,类似的定义推广到分布式计算上,我们可以将其视为增加了分布式支持的计算函数。从计算的角度上看,Map/Reduc转载 2016-05-18 09:38:01 · 573 阅读 · 0 评论 -
构建高并发高可用的电商平台架构实践
从各个角度总结了电商平台中的架构实践,由于时间仓促,定了个初稿,待补充完善,欢迎大家一起交流。转载请声明出处:http://blog.csdn.net/yangbutao/article/details/12242441一、 设计理念 1. 空间换时间1) 多级缓存,静态化客户端页面缓存(http header中包含转载 2016-06-07 18:14:11 · 1769 阅读 · 0 评论 -
FastDFS安装、配置、部署(三)-Storage配置详解
、基本配置# is this config file disabled# false for enabled# true for disableddisabled=false# the name of the group this storage server belongs togroup_name=group1# bind an address of this ho转载 2016-06-15 14:44:26 · 714 阅读 · 0 评论