- 博客(10)
- 资源 (4)
- 收藏
- 关注
原创 mysql删除数据
1. 在使用delete删除select根据exists关联出的数据后,发现报错。1.1 表test_1:mysql> select * from test_1;+------+------+| id | name |+------+------+| 1 | a | | 1 | b | | 2 | c | +-
2013-09-11 15:55:16 1011
原创 Linux处理jpeg文件解决方案
某项需求需要对Linux下的jpeg图片处理,压缩保存等。需要用到Image模块,而该模块在PIL包中。环境:CentOS release 5.5 (Final)+Python 2.7.3 1. JPEG库1.1 确认系统安装有libjpeg库,可能在/usr/local/lib目录下,也有可能在/usr/local/jpeg/lib目录下cd /usr/local/lib
2013-07-26 16:58:07 1335
原创 mongodb数据迁移效率测试
根据数据迁移方案,分别对100W和1000W数据进入分片集群的插入测试,结果如下: 结论:1. 小数据量时,插入效率方案一最高,方案三、方案二次之;2. 大数据量时,插入效率方案二最高,方案三、方案一次之;3. 分片效果方面,方案一和方案二相同,方案三在小数据量分片效果不好,大数据量分片效果次之;
2013-07-22 15:14:43 975
原创 mongodb分片集群数据迁移(方案三)
方案三:先建立分片集群,再配置分片集群,最后同步数据。导出数据;建立分片集群;配置config server;配置config server;配置分片集群;导入数据。1. 导出数据/usr/local/mongo/bin/mongodump --host 172.16.8.134:29017 -d 201 -o /data/data/mongo/tmp/ --directorype
2013-07-22 15:03:36 2200
原创 mongodb分片集群数据迁移(方案二)
方案二:先建立分片集群,再同步数据,最后配置分片集群。导出数据;建立分片集群;配置config server;配置mongos server;导入数据;配置分片集群。1. 导出数据/usr/local/mongo/bin/mongodump --host 172.16.8.134:29017 -d 201 -o /data/data/mongo/tmp/ --directoryperd
2013-07-22 14:56:10 2729
原创 mongodb分片集群数据迁移(方案一)
将现有mongodb副本集的数据迁移到新的分片集群中,设计三种迁移方案。方案一:先同步数据,再建立分片集群,最后配置分片集群。导出需要迁移的数据;建立第一个副本集;将数据导入到副本集中;增加另外两个副本集;启动config server;启动mongos server;配置分片集群。1. 导出需要迁移的数据;/usr/local/mongo/bin/mongodum
2013-07-22 14:52:11 4111
原创 mongodb分片集群设计方案
1. 设计思想:分片集群(sharding cluster),每个分片就是一个集群,每个集群就是一个分片。Shard Server: mongod 实例,用于存储实际的数据块,一个shard server角色可由三台机器组成一个replica set承担,保障数据完整性。Config Server: mongod 实例,存储了整个 Cluster Metadata,其中包括 chun
2013-07-22 14:35:55 1218
原创 UnicodeEncodeError
UnicodeEncodeError是字符编码错误。可能是由于多种错误引起的,以下说明一种自己遇见的错误类型。向mysql数据库中插入数据,在写日志的函数报错:logger.info('delete from ' + tablename + ' order_id = ' + order_id + ' ok')开始以为是order_id的编码错误,但是分开打印后显示为tablename字段编
2013-07-22 10:04:14 1256
原创 error RS102 too stale to catch up
mongodb在建立副本集或者分片集群的时候,都会遇到数据同步的问题,从PRIMARY到SECONDARY节点的数据同步
2013-07-10 10:12:48 866
原创 python去掉字符串中的字母,只保留数字
>>> import os,sys,string>>> s = "NaN9771Abc742055">>> s = filter(lambda ch: ch in '0123456789', s)>>> print s9771742055>>>
2013-07-03 14:11:06 24180 1
Oracle性能优化
2008-11-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人