数据库服务器集群
文章平均质量分 93
李纲明
热忠于互联网、移动互联网技术交流和分享
展开
-
phpmyadmin #2000 无法登录 MySQL 服务器
$cfg['Servers'][$i]['auth_type'] = 'cookie';/* Server parameters */$cfg['Servers'][$i]['host'] = 'localhost';$cfg['Servers'][$i]['connect_type'] = 'tcp';$cfg['Servers'][$i]['compress'] = false原创 2012-11-19 20:54:43 · 3700 阅读 · 0 评论 -
PHP程序来操作MongoDB【NoSQL】的一些方法及MongoDB安装
一、MongoDB简介MongoDB (名称来自"humongous") 是一个可扩展的、高性能、开源、模式自由、面向文档的数据库,集文档数据库、键值对存储和关系型数据库的优点于一身。官方站点:http://www.mongodb.org/,MongoDB特点:•面向文档原创 2011-09-20 10:56:26 · 1176 阅读 · 0 评论 -
PHP-redis中文说明
phpredis是php的一个扩展,效率是相当高有链表排序功能,对创建内存级的模块业务关系很有用;以下是redis官方提供的命令使用技巧:下载地址如下:https://github.com/owlient/phpredis(支持redis 2.0.4)原创 2011-09-05 10:40:29 · 4131 阅读 · 0 评论 -
memcached、redis、mysql、mongodb结合架构数据库系统
1.业务系统的关联关系用mysql组织2.缓存数据用memcached、redis存取3.大文本数据放进mongodb存取中4.数据统计计数增加阀值功能用mysql将memcached、redis、mongodb三者结合起来,根据实际业务需要看一下哪些适合memcached、re原创 2011-07-24 10:22:51 · 5119 阅读 · 2 评论 -
大批量sql数据快速导入技巧
1.将批量执行的大数据先存为*.sql文件; 2.每个表在导出数据时都要先锁表并将索引关闭(索引关闭是不关闭的导入时减少2/3左右的时间对大数据迁移来说该方法很关键); 3.直接进行mysql后执行source *.sql文件即可; 注:1。phpselect 文件时间注意相关参数的设置 set_time_limit(0); ini_set(memor原创 2011-06-19 20:14:00 · 2933 阅读 · 0 评论 -
MySQL Query:show columns from user_lucene from ptv MySQL Error:Can't open file: '*.ibd' (errno: 1) MySQL Errno:1016 Message:
删除对应mysql数据库目录中的*.frm文件即可解决上述问题 在Mysql的官方论坛还找到一个相关的帖子:Can’t open file ****.ibd (errno: 1)。不过在Mysql的错误日志“计算机名.err”中的提示更详细(英文原文被我不小心删掉了,解释一下大概的意思):在删除Mysql数据库中的表时发生错误引起表的结构定义文件 .frm 未删除,找到对应的 tabl原创 2011-06-19 18:20:00 · 2688 阅读 · 0 评论 -
关于mysql大批量数据导入相关my.cnf参数设置
//wait_timeout=2880000//interactive_timeout = 2880000//sql = "set interactive_timeout=24*3600";//set max_allowed_packet = 10M//ERROR 2006 (HY000): MySQL server has gone away//[mysqld]//max_allowed_pac原创 2011-06-19 18:25:00 · 1893 阅读 · 1 评论 -
C语言操作mysql 添加、删除、修改、查询实例
<br />#include <stdio.h>#include <stdlib.h>#include <string.h>#include <mysql/mysql.h>int main (int argc, char *argv[]){ MYSQL *conn_ptr; MYSQL_RES *res; MYSQL_ROW row; char query[1024]; int t,r; conn_ptr=mysql_init(NULL); if(!co原创 2011-04-04 10:12:00 · 4815 阅读 · 0 评论 -
MySQL Cluster(MySQL 集群) 测试
<br />MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。(注意,要想获得MySQL Cluster 的功能,必须安装 mysql-server 和 mysql-max RPM)。<br />目前能够运行MySQL Cluster 的操作系统有Linux、Mac OS X和Sol原创 2011-04-04 09:58:00 · 1194 阅读 · 0 评论 -
启动MongoDB时,提示dbexit: really exiting now
删除mongod 启动时 -dbpath /data/db 集合 同一目录下产生的:_tmp和mongod.lock,重启mongodb即可解决问题原创 2011-08-25 12:37:27 · 5318 阅读 · 0 评论 -
分布式数据库MongoDB命令集合
基本操作db.AddUser(username,password) //添加用户 db.auth(usrename,password) //设置数据库连接验证 db.cloneDataBase(fromhost) //从目标服务器克隆一个数转载 2011-09-22 18:42:45 · 1070 阅读 · 0 评论 -
Query to [SELECT * FROM sch_school] MySQL server has gone away 解决方法
MySQL server has gone away问题。比如DZ论坛,安装好服务器,但是清空缓存等操作数据库的动作,运行时间稍长就会出现MySQL server has gone away问题。这几天合并DZ的一个小站到自己网站,在本地合并数据的过程中,报mysql server has gone away 错误,于是各种找错,最后终于解决了。大家只需要在mysql下的my.ini配置文原创 2012-08-08 17:36:16 · 591 阅读 · 0 评论 -
mongodb集群分片部署实践
第一步.启动相应的Mongod进程mongod --fork --slave --port 27017 --replSet mySet --rest --dbpath /data/dbmongo/shard11 --logpath /data/dbmongo/shard11.logmongod --fork --slave --port 27018 --replSet mySet --r原创 2012-05-03 10:18:56 · 1503 阅读 · 0 评论 -
Mongodb的带用户验证replica set配置
mkdir -p /data/data/dbmaster /data/data/dbslave1 /data/data/dbslave2 /data/data/dbslave3mongod --fork --auth --master --port 27017 --dbpath /data/data/dbmaster --logpath /data/data/dbmaster原创 2012-04-18 18:12:39 · 3956 阅读 · 0 评论 -
mongodb分片部署
1、mongodb分片科普 (各种罗嗦) Replica Set(副本集):副本集使其组内的每个成员(member)在不同的mongod实例中具有相同的数据备份,这样可以将来自应用服务器的请求访问(request visit)得以均匀的分布在Replica Set的每一个成员所在的mongod实例上,用以减缓单台mongod服务器在请求负载上的压力。在一定时限内Replica Set能完成转载 2012-04-28 11:22:27 · 4220 阅读 · 0 评论 -
mongodb 备份与导入
step-1:exec:/usr/local/mongodb/bin/mongodump -h 192.168.1.100 -d dbname -o /tmp/ --port 27017 -pxxx -uxxxstep-2:将dbname的json,bson的备份库文件利用sz rz命令下载、上传至要志入库的/tmp目录step-3:exec:/usr/local/mongodb/b原创 2012-04-26 13:26:23 · 569 阅读 · 0 评论 -
Mongodb Mapreduce 初窥
在单台机器上做这种模型测试就效率上是得不尝失的(执行周期太长),特别是数据量特别大(比如3000w以上),所以应用(或运行)场景的选择很重要。 上面所说的示例比较简单,都是在单一reduce任务中的执行场景,如下图: 实际的生产环境要比上图复杂许多,比如多reduce任务情况,在Hadoop中,如果运行多个reduce任务,map任务会对其输出进行分区,为原创 2012-03-22 10:44:20 · 871 阅读 · 0 评论 -
MongoDB 查询条件
查询(来源于mongodb权威指南)http://www.mongodb.org/display/DOCS/Advanced+Queries#AdvancedQueries-%24neAdvanced Queries.spacetree * ul{ padding-left:0px; margin-left: 0px; } .spacetree * li{ margin-left: 5px转载 2012-03-20 12:46:41 · 3316 阅读 · 1 评论 -
mongodb 常用方法
每个集合(文档、数据表)都会有一个key, "_id"对应;system.indexes集合是系统表索引system.user集合是系统用户最常用原子操作$set:array( $set => array( field => value))$unset:array($unset => (field => 1))$inc :array($inc => (field=> val原创 2012-03-29 14:10:20 · 623 阅读 · 0 评论 -
oracle数据库启动和停止
Oracle虽然会在上面开发,但对于管理还真是不通,尤其是在linux上,公司近来服务器老是重启,搞得数据库也要重启,总是记不住命令,现在把这些命令黏贴在这里,已备忘记查阅。<br />以oracle用户身份登录登录后输入以下命令:oracle-> sqlplus /nologSQL*Plus: Release 9.2.0.1.0 - Production on 星期一 4月 26 09:42:00 2004 <br /><br />Copyright (c) 1982, 2002>>, Oracl原创 2011-01-27 21:59:00 · 18819 阅读 · 0 评论 -
MySQL的表类型和存储引擎
MySQL的表类型由存储引擎(Storage Engines)决定,类型包括MyISAM、innoDB、BDB等。常用的存储引擎MySQL 数据表主要支持六种类型 ,分别是:BDB、HEAP、ISAM、MERGE、MYISAM、InnoBDB。这六种又分为两类,一类是”事务安全型”(transaction-safe),包括BDB和InnoDB;其余都属于第二类,称为”非事务安全型”(non-transaction-safe)。BDB全称是”Brekeley DB”,它是Mysql最早的具有事务能力的表的类型原创 2010-08-16 11:28:00 · 673 阅读 · 0 评论 -
Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
出现该问题连续执行以下操作即可解决killall mysqld或kill -9 mysql进程号chown -R 755 /var/lib/mysqlcd /usr/local/mysql/bin/mysql_install_db --user=mysqlchown mysql:mysql /usr/local/mysql -Rchmod -R 755 /usr/local/m原创 2010-05-11 21:55:00 · 603 阅读 · 0 评论 -
linux下Mysql 数据库集群通常采用的模式
1.数据库采用安业务模块分离采用一主多从(master/slave)模式2.在连接池上采用Mysql Proxy代理来实现负载均衡、故障、查询分析和查询过滤及修改等 详细实现细节见:数据库服务器集群原创 2010-04-04 06:49:00 · 856 阅读 · 0 评论 -
MySQL NDB 6.3.20集群安装
MySQL集群是一种在无共享架构系统里应用内存数据库集群的技术。这种无共享的架构可以使得系统使用非常便宜的并且是最小配置的硬件。MySQL集群是一种分布式设计,目标是要达到没有任何单点故障点。因此,任何组成部分都应该拥有自己的内存和磁盘。任何共享存储方案如网络共享,网络文件系统和SAN设备是不推荐或不支持的。通过这种冗余设计,MySQL声称数据的可用度可以达到99。999%。原创 2010-04-11 15:51:00 · 761 阅读 · 0 评论 -
NFS文档(FOR LINUX)
NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中,在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。 NFS协议从诞生到现在为止,已经有多个版本,如NFS V2(rfc1094),NFS V3(rfc1813)(最新的版本是V4(rfc3010)。 二、各NFS协议版本的主要区别原创 2010-03-28 16:14:00 · 666 阅读 · 0 评论 -
流媒体CDN解决方案
创智数码科技股份有限公司一直专注于流媒体领域的增值业务应用软件开发,致力于为流媒体服务运营商提供一流的、专业的视频应用软件和流媒体整体解决方案。 以多年的流媒体服务软件开发经验为背景,总结了多次省级电信运营级流媒体项目的建设经验,深入、前瞻性的分析了流媒体业务当前和未来的业务需求。创智数码科技股份有限公司推出了以高性能银鲨流媒体服务器为核心,面向电信运营商的PowerSSP转载 2010-03-20 18:46:00 · 2907 阅读 · 0 评论 -
linux服务器用PHP的PDO链接myql方法(php pdo)
PDO为何物POD(PHP Data Object)扩展在PHP5中加入,PHP6中将默认识用PDO连接数据库,所有非PDO扩展将会在PHP6被从扩展中移除。该扩展提供PHP内置类 PDO来对数据库进行访问,不同数据库使用相同的方法名,解决数据库连接不统一的问题。我是配置在windows下做开发用的。 PDO的目标提供一种轻型、清晰、方便的 API统一各种不同 RDBMS 库的共有转载 2010-03-13 22:22:00 · 2328 阅读 · 0 评论 -
phpmyadmin出现 Wrong permissions on configuration file, should not be world writable! 解决方法
该问题是chmod时把 phpmyadmin目录改成了777权限造成的chmod -R 755 phpmyadmin 即可 :)原创 2010-03-13 18:19:00 · 843 阅读 · 0 评论 -
linux下用php调用PDO链接出错问题 pdo未加载解决方法
当出现Fatal error: Undefined class constant PDO::MYSQL_ATTR_USE_BUFFERED_QUERY 该问题是安装php时未加pdo的原因所造成,重新编译PHP即可./configure --prefix=/usr/local/php5 --with-apxs2=/usr/local/apache2/bin/apxs --with-原创 2010-03-13 17:46:00 · 2971 阅读 · 0 评论 -
Linux下MySQL双向同步复制配置方法
设置MySQL数据双向同步一、准备服务器由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样,因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低,Master的版本肯定不能高于Slave版本。more.. | less.. | 本文中,我们假设主服务器(以下简称Master)和从服务器(以下简称Slave)的版本都是5.0.27,操作系统是RedHat原创 2010-04-05 07:05:00 · 4184 阅读 · 0 评论 -
MySQL Proxy─官方MySQL连接池和代理工具
MySQL Proxy,我们可以将它理解为类似SQL Relay的连接池工具,不过MySQL Proxy要更强大一些。 下面,让我们来一起看一下官方描述的特性: * load balancing * failover * query analysis * query filtering and modification * ... and many more原创 2010-04-03 21:35:00 · 2976 阅读 · 1 评论 -
Linux下 MySQL Proxy 安装与配置2
fetch http://mirror.mysql-partners-jp.biz/Downloads/MySQL-Proxy/mysql-proxy-0.6.0-freebsd6-x86.tar.gztar zxvf mysql-proxy-0.6.0-freebsd6-x86.tar.gzcd mysql-proxy-0.6.0-freebsd6-x86cp sbin/mysql-原创 2010-04-08 22:55:00 · 2560 阅读 · 0 评论 -
LVS & MySQL NDB Cluster
组成LVS最重要的部分有三个:请求分发服务器、处理服务器、共享存储。典型的Web集群并不需要共享存储,只有请求分发服务器和处理服务器,如下图所示: 如果完成请求需要基于数据,那么共享存储就是LVS必须的组件了。LVS邮件服务器集群如下所示:目前能应用于LVS的MySQL集群只能是NDB Cluster,因为MySQL众多的存储引擎中,只有NDB Cluster实现了共享存储的转载 2010-04-10 18:48:00 · 1368 阅读 · 0 评论 -
亿级数据的高并发通用搜索引擎架构设计
最新的搜索引擎架构,目前已经写出“搜索查询接口”和“索引更新接口”的beta版。经测试,在一台“奔腾四 3.6GHz 双核CPU、2GB内存”的普通PC机,7000万条索引记录的条件下,“搜索查询接口”平均查询速度为0.0XX秒(查询速度已经达到百度、谷歌、搜狗、中国雅虎等搜索引擎的水平,详见文章末尾的“附2”),并且能够支撑高达5000的并发连接;而“索引更新接口”进行数据分析、入队列、返回信息转载 2010-04-05 11:11:00 · 1667 阅读 · 0 评论 -
memcachedb 加 memcached engine无法提高 示例检索的查询速度
鉴于国内外还没有人撰写如何安装Memcache_engine的文章,于是,我根据自己的编译安装步骤,写下此文。 Memcache_engine是一个MySQL 5.1数据库的存储引擎,它能够让用户通过标准的SQL语句(SELECT/UPDATE/INSERTE/DELETE)访问Memcached(还支持新浪的Memcachedb、dbcached)中存放的数据。 限制: 1、Memcach原创 2010-04-05 09:53:00 · 1405 阅读 · 0 评论 -
mysql做master/slave时当出现ERROR 1036 (HY000): Table is read only 的解决方法
出现该问题是因为复制数据权限或属主设置问题用chmod或chown更改重启mysql方可生效 今天检查数据库发现一台MySQL Slave未和主机同步,查看Slave状态:mysql> show slave status/GSlave_IO_Running: YesSlave_SQL_Running: NoLast_Errno: 1062....Seconds_Behind_Maste原创 2010-04-04 19:08:00 · 5463 阅读 · 0 评论 -
linux mysql下 从 max_connections 的实验带来的思考
php没有数据库连接池的概念,一般情况下程序中使用mysql_connect()连接数据库,在php脚本执行完毕之后进程会释放掉连接资源所占的内存。访问每个php网页都会出现一个解析脚本的进程,那么数据库服务端也会出现一个connect连接。当然前提是只有一个数据库设计的系统。在高并发高流量的情况下,基于数据库驱动的应用系统很容易出现瓶颈,这个瓶颈首先就是max_connections,即数据库原创 2010-04-03 18:35:00 · 3211 阅读 · 0 评论 -
linux 安装php 时出现easy.h should be in /include/curl/ 的解决方法
下载:curl-7.14.0.tar.gz安装:configuremakemake install 即可解决原创 2010-04-02 17:22:00 · 3752 阅读 · 0 评论 -
linux 下 MySQL-Proxy 实现 MySQL 的负载均衡和读写分离实现
Mysql proxy是MySQL官方开发一个mysql数据库前端代理,使用C语言编写,并且支持lua来编写proxy规则,可以用来实现mysql的读写分 离,负载均衡等等功能. 一:安装Mysql-Proxy1)系统环境的设置(系统为CentOs 5.2):确定这些包已经安装:GNU Autotools, flex, pkg-config, bazaar, MySQL client原创 2010-04-05 20:33:00 · 2550 阅读 · 0 评论 -
mysql 定时数据备份
1.编写shell脚本vi /data/www/project_name/bin/mysql_backup.sh#!/bin/bash #This is a ShellScript For Auto DB Backup #Powered by liuzheng #系统变量定义 DBName=test DBUser=root DBPas原创 2010-03-12 09:47:00 · 571 阅读 · 0 评论