分布式存储集群
李纲明
热忠于互联网、移动互联网技术交流和分享
展开
-
mysql 主从复制原理图
原创 2020-10-16 10:28:48 · 188 阅读 · 0 评论 -
世界顶尖PHP站Facebook后台技术探秘
Hadoop and HiveHadoop的是一个开源的map-reduce实现,使得它可以在进行大数据上进行运算。 Facebook的使用这个进行数据分析(而我们都知道,Facebook已经大量的数据)。 Hive就是发源于Facebook,使得对于Hadoop使用的SQL查询成为可能,从而是其更容易对非程序员使用。Hadoop和Hive是开源的(Apache项目),有为数众多的追随者,例如雅虎和Twitter。ThriftFacebook使用的几种不同的语言和不同的services。 PHP是最终用于前转载 2011-05-31 09:05:00 · 1048 阅读 · 0 评论 -
memcached和redis在用法上的不同
写入数据:set方法不同memcached可以直接写入单个值或一维数组、二维数组数据,redis可以写单个数据,一维数组和二维数组数据需要序列化后再写入.读取数据:get方法不同memcached读取单个值、一维数组、二维数组数据通过get方法即可读取:get()get(arra原创 2011-07-24 10:13:35 · 3051 阅读 · 0 评论 -
memcached、redis、mysql、mongodb结合架构数据库系统
1.业务系统的关联关系用mysql组织2.缓存数据用memcached、redis存取3.大文本数据放进mongodb存取中4.数据统计计数增加阀值功能用mysql将memcached、redis、mongodb三者结合起来,根据实际业务需要看一下哪些适合memcached、re原创 2011-07-24 10:22:51 · 5118 阅读 · 2 评论 -
分布式中型文档存储系统MongoDB基础概念
MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bjson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言原创 2011-07-24 10:42:49 · 1325 阅读 · 0 评论 -
基于MongoDB的php应用开发
一、连接数据库主机连接本地主机,端口为27017:$connection = new Mongo();连接远程主机,端口为默认端口:$connection= new Mongo( "192.168.2.1" );连接远程主机,端口为指定端口:原创 2011-08-02 15:16:49 · 1466 阅读 · 0 评论 -
PHP程序来操作MongoDB【NoSQL】的一些方法及MongoDB安装
一、MongoDB简介MongoDB (名称来自"humongous") 是一个可扩展的、高性能、开源、模式自由、面向文档的数据库,集文档数据库、键值对存储和关系型数据库的优点于一身。官方站点:http://www.mongodb.org/,MongoDB特点:•面向文档原创 2011-09-20 10:56:26 · 1176 阅读 · 0 评论 -
分布式数据库MongoDB命令集合
基本操作db.AddUser(username,password) //添加用户 db.auth(usrename,password) //设置数据库连接验证 db.cloneDataBase(fromhost) //从目标服务器克隆一个数转载 2011-09-22 18:42:45 · 1069 阅读 · 0 评论 -
云计算与数据中心计算
云计算概念发端于Google和Amazon等超大规模的互联网公司,随着这些公司业务的成功,作为其支撑技术的云计算也得到了业界的高度认可和广泛传播。时至今日,云计算已被普遍认为是IT产业发展的新阶段,从而被赋予了很多产业和产品层面的意义。由于意义多重,各种概念纷繁复杂,众多公司和从业人员的眼中都有自己的一朵云,正如徐志摩在《偶然》一诗中所说:“我是天空里的一片云,偶尔投影在你的波心”。传统的系统转载 2012-02-02 16:32:43 · 715 阅读 · 0 评论 -
mongodb 常用方法
每个集合(文档、数据表)都会有一个key, "_id"对应;system.indexes集合是系统表索引system.user集合是系统用户最常用原子操作$set:array( $set => array( field => value))$unset:array($unset => (field => 1))$inc :array($inc => (field=> val原创 2012-03-29 14:10:20 · 622 阅读 · 0 评论 -
Mongodb Mapreduce 初窥
在单台机器上做这种模型测试就效率上是得不尝失的(执行周期太长),特别是数据量特别大(比如3000w以上),所以应用(或运行)场景的选择很重要。 上面所说的示例比较简单,都是在单一reduce任务中的执行场景,如下图: 实际的生产环境要比上图复杂许多,比如多reduce任务情况,在Hadoop中,如果运行多个reduce任务,map任务会对其输出进行分区,为原创 2012-03-22 10:44:20 · 871 阅读 · 0 评论 -
10亿量级LAMP架构分享
贴吧是功能性产品,唯快不破是永恒的准则,这一特点决定了快速迭代是需要解决的关键性问题。快速迭代,分解开来有如下部分:开发阶段,快速开发;测试阶段,包含了环境快速搭建、自动化测试工具;运维阶段,包含了集群管理技术、自动化运维工具;同时,这三方面的工作需要一个整体性的解决方案衔接起来。早期的贴吧,作为一个高性能社区,功能相对单一,全部采用C语言开发,系统可重用程度低,开发、测试效率低,运维方面的积转载 2012-04-14 15:20:54 · 916 阅读 · 0 评论 -
Mongodb的带用户验证replica set配置
mkdir -p /data/data/dbmaster /data/data/dbslave1 /data/data/dbslave2 /data/data/dbslave3mongod --fork --auth --master --port 27017 --dbpath /data/data/dbmaster --logpath /data/data/dbmaster原创 2012-04-18 18:12:39 · 3956 阅读 · 0 评论 -
sphinx启动searchd进程出现search error failed to open No such file or directory
在安装好sphinx 后,启动 searchd 服务时总是提示如下错误: index 'test': search error: failed to open /var/data/test.sph: sphinx 错误解决 index 'test': search error: failed to open /var/data/test.sph:No such file or director原创 2012-06-06 12:44:55 · 6973 阅读 · 0 评论 -
linux vi 中文乱码解决
<br />vi /etc/sysconfig/i18nLANG="zh_CN.GB18030"LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN"SUPPORTED="zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"SYSFONT="lat0-sun16"export LANG="zh_CN.UTF-8"export LC_ALL="zh_CN.UTF-8"<br /> <br />重启服务器即可解决原创 2010-06-23 16:45:00 · 1769 阅读 · 0 评论 -
squid安装笔记
一、安装wget http://www.squid-cache.org/Versions/v2/2.5/squid-2.5.STABLE13.tar.gztar zxf squid-2.5.STABLE13.tar.gzcd squid-2.5.STABLE13./configure –prefix=/usr/localmakemake installvi /usr/l翻译 2010-05-21 06:00:00 · 1121 阅读 · 0 评论 -
mfs启动方法
python /usr/local/mfs/sbin/mfscgiserv/usr/local/mfs/sbin/mfsmetalogger restart/usr/local/mfs/sbin/mfschunkserver restart/usr/local/mfs/sbin/mfsmaster restart原创 2010-03-13 15:04:00 · 1580 阅读 · 0 评论 -
流媒体CDN解决方案
创智数码科技股份有限公司一直专注于流媒体领域的增值业务应用软件开发,致力于为流媒体服务运营商提供一流的、专业的视频应用软件和流媒体整体解决方案。 以多年的流媒体服务软件开发经验为背景,总结了多次省级电信运营级流媒体项目的建设经验,深入、前瞻性的分析了流媒体业务当前和未来的业务需求。创智数码科技股份有限公司推出了以高性能银鲨流媒体服务器为核心,面向电信运营商的PowerSSP转载 2010-03-20 18:46:00 · 2904 阅读 · 0 评论 -
NFS文档(FOR LINUX)
NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中,在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。 NFS协议从诞生到现在为止,已经有多个版本,如NFS V2(rfc1094),NFS V3(rfc1813)(最新的版本是V4(rfc3010)。 二、各NFS协议版本的主要区别原创 2010-03-28 16:14:00 · 666 阅读 · 0 评论 -
memcachedb 加 memcached engine无法提高 示例检索的查询速度
鉴于国内外还没有人撰写如何安装Memcache_engine的文章,于是,我根据自己的编译安装步骤,写下此文。 Memcache_engine是一个MySQL 5.1数据库的存储引擎,它能够让用户通过标准的SQL语句(SELECT/UPDATE/INSERTE/DELETE)访问Memcached(还支持新浪的Memcachedb、dbcached)中存放的数据。 限制: 1、Memcach原创 2010-04-05 09:53:00 · 1405 阅读 · 0 评论 -
linux 安装php 时出现easy.h should be in /include/curl/ 的解决方法
下载:curl-7.14.0.tar.gz安装:configuremakemake install 即可解决原创 2010-04-02 17:22:00 · 3752 阅读 · 0 评论 -
linux mysql下 从 max_connections 的实验带来的思考
php没有数据库连接池的概念,一般情况下程序中使用mysql_connect()连接数据库,在php脚本执行完毕之后进程会释放掉连接资源所占的内存。访问每个php网页都会出现一个解析脚本的进程,那么数据库服务端也会出现一个connect连接。当然前提是只有一个数据库设计的系统。在高并发高流量的情况下,基于数据库驱动的应用系统很容易出现瓶颈,这个瓶颈首先就是max_connections,即数据库原创 2010-04-03 18:35:00 · 3211 阅读 · 0 评论 -
亿级数据的高并发通用搜索引擎架构设计
最新的搜索引擎架构,目前已经写出“搜索查询接口”和“索引更新接口”的beta版。经测试,在一台“奔腾四 3.6GHz 双核CPU、2GB内存”的普通PC机,7000万条索引记录的条件下,“搜索查询接口”平均查询速度为0.0XX秒(查询速度已经达到百度、谷歌、搜狗、中国雅虎等搜索引擎的水平,详见文章末尾的“附2”),并且能够支撑高达5000的并发连接;而“索引更新接口”进行数据分析、入队列、返回信息转载 2010-04-05 11:11:00 · 1667 阅读 · 0 评论 -
关于大型信息系统架构中js、css、images及用户上传图片、流媒体等等资源部署规则
在大型系统中研发和制作及设计人员在代码部署上在多个项目上通常是通过svn进行版本控制结合FTP进行分离实现的 以下是我在实现项目中通常的部署方法: 1。js、css、images等单独部署在静态资源服务器上实际样例类似以 img(x).c(x).域名.com/项目/静态资源文件类似这样的形式,通过squid实现CDN的部署 2。Web应用服务器原创 2010-04-04 06:54:00 · 1942 阅读 · 1 评论 -
linux 下 MySQL-Proxy 实现 MySQL 的负载均衡和读写分离实现
Mysql proxy是MySQL官方开发一个mysql数据库前端代理,使用C语言编写,并且支持lua来编写proxy规则,可以用来实现mysql的读写分 离,负载均衡等等功能. 一:安装Mysql-Proxy1)系统环境的设置(系统为CentOs 5.2):确定这些包已经安装:GNU Autotools, flex, pkg-config, bazaar, MySQL client原创 2010-04-05 20:33:00 · 2550 阅读 · 0 评论 -
MySQL Proxy─官方MySQL连接池和代理工具
MySQL Proxy,我们可以将它理解为类似SQL Relay的连接池工具,不过MySQL Proxy要更强大一些。 下面,让我们来一起看一下官方描述的特性: * load balancing * failover * query analysis * query filtering and modification * ... and many more原创 2010-04-03 21:35:00 · 2976 阅读 · 1 评论 -
LVS & MySQL NDB Cluster
组成LVS最重要的部分有三个:请求分发服务器、处理服务器、共享存储。典型的Web集群并不需要共享存储,只有请求分发服务器和处理服务器,如下图所示: 如果完成请求需要基于数据,那么共享存储就是LVS必须的组件了。LVS邮件服务器集群如下所示:目前能应用于LVS的MySQL集群只能是NDB Cluster,因为MySQL众多的存储引擎中,只有NDB Cluster实现了共享存储的转载 2010-04-10 18:48:00 · 1368 阅读 · 0 评论 -
Linux下 MySQL Proxy 安装与配置2
fetch http://mirror.mysql-partners-jp.biz/Downloads/MySQL-Proxy/mysql-proxy-0.6.0-freebsd6-x86.tar.gztar zxvf mysql-proxy-0.6.0-freebsd6-x86.tar.gzcd mysql-proxy-0.6.0-freebsd6-x86cp sbin/mysql-原创 2010-04-08 22:55:00 · 2560 阅读 · 0 评论 -
ping: unknow host解决办法
route add default gw 192.168.0.1vi /etc/resolv.confnameserver 192.168.0.1 vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0 #物理设备名IPADDR=192.168.1.10 #IP地址NETMASK=255.255.255.0原创 2010-05-01 19:53:00 · 5889 阅读 · 0 评论 -
mfs(moosefs file system)共享存储卸载方法
直接在所在的服务器执行umount /mnt/mfs(主服务器共享存储目录即可) :)原创 2010-03-13 18:46:00 · 1279 阅读 · 0 评论