Innodb with Memcached –安装

本文在文章：http://hi.baidu.com/cwbdde/blog/item/adc89b0ed94f80d17acbe1a7.html的基础上做了一些改动，应用到自己的系统上，由于机器上以前有一个mysql，所以这是在同一机器上安装两个mysql的情况。 InnoDB with Memcached是在提供MySQL服务的同一进程中提供Memcached服务。memcached是作为MySQL的插件程式，通过访问本地的InnoDB API直接访问innodb数据。如下图： 准备工作 由于mysql5.5版本之后不提供configure源码安装的方式，而采用cmake方式，没安装cmake，那就提前安装一下吧，很简单。 yum install cmake 安装mysql5.6.2 wget http://downloads.mysql.com/snapshots/pb/mysql-5.6-labs-innodb-memcached/mysql-5.6.2-labs-innodb-memcached.tar.gz 1)、下载MySQL。 #cd /usr/local/src #wget http://downloads.mysql.com/snapshots/pb/mysql-5.6-labs-innodb-memcached/mysql-5.6.2-labs-innodb-memcached.tar.gz 2)、添加必要的组和拥有者 #groupadd mysql #useradd -r -g mysql mysql 3)、解压MySQL #tar -zvxf mysql-5.5.8.tar.gz 4)、配置编译 #mkdir /usr/local/mysql-5.6.2 #mkdir /mysql-5.6.2_data #cd /usr/local/src/mysql-5.6.2 编译参数 #cmake . \   -DCMAKE_INSTALL_PREFIX=/usr/local/mysql-5.6.2/ \   -DMYSQL_DATADIR=/mysql-5.6.2_data/ \   -DMYSQL_UNIX_ADDR=/tmp/mysql.3308.sock \   -DWITH_MYISAM_STORAGE_ENGINE=1 \   -DWITH_INNOBASE_STORAGE_ENGINE=1 \   -DWITH_BLACKHOLE_STORAGE_ENGINE=0 \   -DWITH_ARCHIVE_STORAGE_ENGINE=0 \   -DWITHOUT_PARTITION_STORAGE_ENGINE=1 \   -DENABLED_LOCAL_INFILE=1 \   -DMYSQL_TCP_PORT=3308 \   -DEXTRA_CHARSETS=all \   -DDEFAULT_CHARSET=utf8 \   -DDEFAULT_COLLATION=utf8_general_ci \   -DWITH_DEBUG=0 \   -DWITH_EMBEDDED_SERVER=1 \   -DWITH_SSL=system \   -DWITH_READLINE=1    注意：编译参数里有几项需要根据自己具体情况设置。我这里将MySQL5.5.16运行于3306端口，并安装在mysql5516目录。 -DCMAKE_INSTALL_PREFIX=/usr/local/webserver/mysql5516/   设置mysql的安装目录 -DMYSQL_DATADIR=/data0/mysql/3306/data 设置mysql数据库文件的位置 -DMYSQL_UNIX_ADDR=/data0/mysql/3306/mysqld.sock 设置mysql启动后sock文件位置 -DMYSQL_TCP_PORT=3308 设置mysql的监听端口 -DDEFAULT_CHARSET=utf8                    　　　　//使用utf8字符 -DDEFAULT_COLLATION=utf8_general_ci            //校验字符 -DEXTRA_CHARSETS=all                        　　　　//安装所有扩展字符集 -DENABLED_LOCAL_INFILE=1                    　　  //允许从本地导入数据 #make #make install 注意事项： 重新编译时，需要清除旧的对象文件和缓存信息。  # make clean # rm -f  CMakeCache.txt  4)、设置目录权限 # cd /usr/local/mysql-5.6.2 # chown -R root:mysql .　//把当前目录中所有文件的所有者所有者设为root，所属组为mysql # chown -R mysql:mysql /mysql-5.6.2_data   5)、配置文件 # cp support-files/my-medium.cnf /etc/my-5.6.2.cnf　//这个配置仅适合小内存系统(32M - 64M) 打开如下注释： innodb_data_home_dir = /usr/local/mysql/data innodb_data_file_path = ibdata1:10M:autoextend innodb_log_group_home_dir = /usr/local/mysql/data innodb_buffer_pool_size = 16M innodb_additional_mem_pool_size = 2M innodb_log_file_size = 5M innodb_log_buffer_size = 8M innodb_flush_log_at_trx_commit = 1 innodb_lock_wait_timeout = 50 添加默认字符集： [client]  default-character-set = utf8 　　 // 添加编码支持 [mysqld] default-character-set = utf8 　　// 添加编码支持 max_connections = 10000 　　  //根据服务器性能调节 basedir = /usr/local/mysql　//设置安装目录，这样在系统启动时才能正确运行到/etc/rc.d/init.d/mysql start 6)、创建系统数据库的表 # cd /usr/local/mysql-5.6.2 # ./scripts/mysql_install_db --defaults-file=/etc/my-5.6.2.cnf --basedir=/usr/local/mysql-5.6.2 --datadir=/mysql-5.6.2_data/ --user=mysql --pid-file=/mysql-5.6.2_data/mysql-5.6.2.pid --port=3308 --socket=/tmp/mysql.3308.sock 启动mysql /usr/local/mysql-5.6.2/bin/mysqld --basedir=/usr/local/mysql-5.6.2 --datadir=/mysql-5.6.2_data/ --plugin-dir=/usr/local/mysql-5.6.2/lib/plugin --user=mysql --log-error=/mysql-5.6.2_data/mysqld.log --open-files-limit=51200 --pid-file=/mysql-5.6.2_data/mysqld.pid --socket=/tmp/mysql.3308.sock --port=3308 & 导入配置表 scripts目录下有个innodb_memcached_config.sql文件，是对memcached插件的配置 cd /usr/local/mysql2/bin/ ./mysql -uroot -P3308 -S /tmp/mysql.3308.sock < ../scripts/innodb_memcached_config.sql 运行完这个脚本，会创建一个innodb_memcache的数据库,以及下面3个表：containers，cache_policies和config_options。 containers是innodb和memcached之间的一个映射关系表，描述了memcached的数据属性（比如key,value,过期时间等）是如何存放在innodb的表中的，以及每个属性对应到表中哪些字段上. containers表只有一行记录，是因为目前memcached插件只支持每次只能将memcached操作到一张表上。官方资料上说，未来会支持更加灵活的配置，这样memcached的操作就能映射到多个表了。 cache_policies表中的配置指定了数据存储的形态，目前有3种: innodb_only: 默认形态，数据直接存入innodb engine 中cache_only: 同传统的memcache server一样，数据只存在内存中caching: 先查找内存中缓存，如果找不到，再向innodb engine中找 config_options表目前只有一条记录，指定了分隔符,默认值是’|'，用于多列数据情况下的分隔。 另外，test库里面会有个demo_test表，记录了 加载memcached插件 mysql>install plugin daemon_memcached soname 'libmemcached.so'; mysql>show variables like  '%memcached%'; +———————————-+——————+ | Variable_name | Value | +———————————-+——————+ | daemon_memcached_engine_lib_name | innodb_engine.so | | daemon_memcached_engine_lib_path | | | daemon_memcached_option | | | daemon_memcached_r_batch_size | 1048576 | | daemon_memcached_w_batch_size | 32 | +———————————-+——————+ 可以查看一些配置属性，可以在配置文件[mysqld]部分自行调整。 这里主要说下面两个参数： daemon_memcached_r_batch_size：读操作批量提交大小的阀值（It specifies after how many ops we will do a commit. By default, this is set as a very large number, 1048576.）daemon_memcached_w_batch_size：写操作批量提交大小的阀值（set, replace, append, prepend, incr, decr etc.) By default, this is set as 32.） 其他的配置属性，比如memcahced的属性可以在daemon_memcached_option指定，比如，指定11212端口 loose-daemon_memcached_option=’-p 11222′即可。 这里解释下loose前缀的作用，经常会在配置插件属性的时候，看到HandlerSocket属性中有loose_handlersocket_port这种写法，其实目的是为了：”选项有前缀loose，如果程序未识别出选项不会提示错误退出，只是会发出一条警告，不至于会终止程序。” 测试一下 mysql>use innodb_memcache; mysql>select * from containers; +——+———–+———–+————-+—————+——-+————+——————–+————————+ | name | db_schema | db_table | key_columns | value_columns | flags | cas_column | expire_time_column | unique_idx_name_on_key | +——+———–+———–+————-+—————+——-+————+——————–+————————+ | aaa | test | demo_test | c1 | c2 | c3 | c4 | c5 | PRIMARY | +——+———–+———–+————-+—————+——-+————+——————–+————————+ 可以看到数据是存放在test库的demo_test表中，实际应用的时候可以自己修改。 往memcache里面添加条数据，如下： #php -r ‘$m = memcache_connect(“localhost”, 11211); $m->add(“key”, “value”); var_dump($m->get(“key”));’ string(5) “value” select查询之前，由于daemon_memcached_w_batch_size配置的存在如果数据字节小于32是不会显示的，所以需要修改下，如下： mysql>set session TRANSACTION ISOLATION LEVEL read uncommitted; mysql>SELECT * FROM demo_test WHERE c1 = ‘key’; +—–+——-+——+——+——+ | c1 | c2 | c3 | c4 | C5 | +—–+——-+——+——+——+ | key | value | 0 | 1 | NULL | +—–+——-+——+——+——+ 1 row in set (0.00 sec) 对于用memcache来存放session的服务，同样可以这样实现： [php.ini文件设置] ; when using the “memcache” extension: session.save_handler=memcache ; when using the “memcached” extension: ; session.save_handler=memcached session.save_path=”tcp://localhost:11211″ [php代码] php -r “session_start();$_SESSION['foo'] = ‘bar’;”  [mysql终端] mysql> select * from demo_test where c1 = ‘m1h4iqmp6hc7e4l85qlld0gtd1′; +——+——+—————————-+——+—————-+——+——+——+——+——+——+ | cx | cy | c1 | cz | c2 | ca | CB | c3 | cu | c4 | C5 | +——+——+—————————-+——+—————-+——+——+——+——+——+——+ | NULL | NULL | m1h4iqmp6hc7e4l85qlld0gtd1 | NULL | foo|s:3:”bar”; | NULL | NULL | 0 | NULL | 4 | NULL | +——+——+—————————-+——+—————-+——+——+——+——+——+——+ 1 row in set (0.00 sec) 小结 InnoDB with Memcached是在提供MySQL服务的同一进程中提供Memcached服务 ，这与HandlerSocket的架构模式几乎是一样的。性能提升的原理同HandlerSocket类似，可以参考另一篇文章http://www.domysql.com/html/180.html 当前版本提供的功能做个小结 memcached作为mysqld的守护插件：mysqld和memcached是在同一进程空间中运行，对数据的访问具有非常低的延迟支持多列：用户可以通过value映射到多个列，该值是分离预先定义的“分离器”。可选的本地缓存："cache-only", "innodb-only", 和 "caching"， 适用于Memcached的set,get,delete和flush操作. 不但可以省去开发中使用Memcached来缓存数据的麻烦，并且具有更好的可靠性和数据一致性批量操作：用户可以通过指定daemon_memcached_r_batch_size和daemon_memcached_w_batch_size大小来进行批量提交支持所有的memcached配置选项，通过daemon_memcached_option参数设置   start_mysql.sh方式 #!/bin/bash bash -c "/usr/local/mysql2/bin/mysqld_safe --defaults-file=/mysql/3308/my.cnf" & stop_mysql.sh方式 #!/bin/bash /usr/local/mysql2/bin/mysqladmin -u root -p -S /mysql/3308/mysql.sock shutdown   my.cnf样本   [client] #password   = your_password port        = 3308 socket      = /mysql/3308/mysql.sock   # Here follows entries for some specific programs   [mysqld_safe] datadir = /mysql/3308/data log-error = /mysql/3308/mysql_error.log pid-file = /mysql/3308/mysql.pid   # The MySQL server [mysqld] port        = 3308 socket      = /mysql/3308/mysql.sock skip-external-locking key_buffer_size = 16M max_allowed_packet = 1M table_open_cache = 64 sort_buffer_size = 512K net_buffer_length = 8K read_buffer_size = 256K read_rnd_buffer_size = 512K myisam_sort_buffer_size = 8M