1 自行寻找一个具有大量非结构化数据,很难使用关系型数据库进行处理的场景,清晰描述场景并指出困难所在,要求原创
2 安装repcached,并且测试其双向复制是否成功,抓图安装和测试过程作为作业内容提交
3(本题可选)使用一种你熟悉的高级语言(例如python),用sql访问mysql(其它数据库亦可)中的一张大表(例如count),然后利用memcached作为中间缓存层,比较一下在操作完成时间上的差异,要求抓图实验过程和提供代码和结果
非结构化数据应用场景:
web开发过程中,经常要设计一些复杂的 MySQL 数据库表,碰到一些需要存储用户昵称、用户等级、用户称号、之类的数据的需求,可以直接用 JSON 格式存储在 user_meta 表的 text 类型字段里。
这样的话,不需要设计复杂的数据库表,因为这类数据的结构可能经常变动,用 JSON 可以在程序中做好处理;每页显示 50 条用户数据的话,每页只要读一次数据库的一条记录就行了,而不需要遍历 50 条记录;把数据库的压力分担到程序执行上,避免数据库压力过大导致网站挂掉。
但是存在很大问题:Mysql库里用text字段性能不乐观;一旦需要对这些数据进行索引或者统计,从MySQL中解出所有的数据并重新入库成本相当巨大;大JSON的parse性能同样不乐观,而且对于中文数据,纯JSON太占空间了;如果采取100条/记录的存储方式,如果需要对其中一条进行增加/删除/更新,即需要更新整个100条,更新量比较大;同样可能会产生并发问题,需要自行实现行锁。
这种不需要索引的情况,根据现有的nosql技术,用KeyValue库更合适一些,比如TC/TT, Bdb, Redis;或者MongoDb这种文档型数据库也可以。如果用关系数据库,违反范式的设计可能会给未来的维护升级带来无尽的麻烦。
安装repcached,并且测试其双向复制是否成功,抓图安装和测试过程作为作业内容提交
(1)安装repcached
wget http://downloads.sourceforge.net/repacached/memcached-1.2.8-repcached-2.2.tar.gz
tar zxvf memcached-1.2.8-repcached-2.2.tar.gz
yum install libevent-devel
cd memcached-1.2.8-repcached-2.2
make
make install
安装成功后,启动repcached
/usr/local/bin/repcached -p 11211 -v -d
/usr/local/bin/repcached -p 11212 -x 127.0.0.1 -v -d (此处127.0.0.1若写为localhost 失效)
测试双向复制内容