第八讲—快速入门三(实时索引)

本节的主要内容有：

1 .了解Canal原理 2 .如何实时更新索引

 

实时索引的主要原理：使用Canal发现Mysql的库表数据变化，通过读取变化内容锁定影响到的索引，并更新索引信息。

一、Canal （项目地址：https://github.com/alibaba/canal）

        1.项目定位：

                1.基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql

        2.工作原理：

                1.canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

                 2.mysql master收到dump请求，开始推送binary log给slave(也就是canal)

                3.anal解析binary log对象(原始为byte流)

 

        

        3. mysql配置

/etc/my.cnf 配置

canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，建议配置binlog模式为row. [mysqld] log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id= 1 #配置mysql replaction需要定义，不能和canal的slaveId重复

为数据库创建canal使用的账号

canal的原理是模拟自己为mysql slave，所以这里一定需要做为mysql slave的相关权限.  （创建一个账号，密码都是canal的用户，并赋予相关权限） CREATE USER canal IDENTIFIED BY 'canal' ;  GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal' @ '%' ; #GRANT ALL PRIVILEGES ON *.* TO 'canal' @ '%' ; FLUSH PRIVILEGES;

配置Canal  ${CANAL_HOME}/conf/canal.properties

#找到canal.destinations配置项，这里的配置是指定canal将要模拟库的文件配置目录,默认是example，我们把它改成goods canal.destinations = goods

在${CANAL_HOME}/conf/下，复制一份example，改名为goods，

cp -r example/  goods/

  配置  ${CANAL_HOME}/conf/goods/instance.properties  在里面配置canal账号,修改slaveId，不要和example李的slaveId相同

################################################# ## mysql serverId canal.instance.mysql.slaveId = 25 # position info canal.instance.master.address = 127.0 . 0.1 : 3306 canal.instance.master.journal.name = canal.instance.master.position = canal.instance.master.timestamp =     #canal.instance.standby.address = #canal.instance.standby.journal.name = #canal.instance.standby.position = #canal.instance.standby.timestamp =   # User canal.instance.dbUsername = canal canal.instance.dbPassword = canal canal.instance.defaultDatabaseName = test canal.instance.connectionCharset = UTF- 8   # table regex:这里我们只监控goods表的变化 canal.instance.filter.regex = goods # table black regex canal.instance.filter.black.regex = #################################################

        4.配置完毕之后，启动canal ${CANAL_HOME/bin/startup.sh} ,出现如下日志，启动成功

2015 - 06 - 02 10 : 56 : 53.996 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties] 2015 - 06 - 02 10 : 56 : 54.003 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [goods/instance.properties] 2015 - 06 - 02 10 : 56 : 54.115 [main] WARN  org.springframework.beans.TypeConverterDelegate - PropertyEditor [com.sun.beans.editors.EnumEditor] found through deprecated global PropertyEditorManager fallback - consider using a more isolated form of registration, e.g. on the BeanWrapper/BeanFactory! 2015 - 06 - 02 10 : 56 : 54.254 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1 -goods 2015 - 06 - 02 10 : 56 : 54.414 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful.... 2015 - 06 - 02 10 : 56 : 54.414 [destination = goods , address = / 127.0 . 0.1 : 3306 , EventParser] WARN  c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - prepare to find start position just show master status

    Note:如果出现以下错误：我把mysql从5.1 换成5.6 就好了。

java.io.IOException: Received error packet: errno = 1236 , sqlstate = HY000 errmsg = Could not find first log file name in binary log index file      at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java: 95 ) ~[canal.parse- 1.0 . 19 .jar:na]      at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java: 116 ) ~[canal.parse- 1.0 . 19 .jar:na]      at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$ 3 .run(AbstractEventParser.java: 209 ) ~[canal.parse- 1.0 . 19 .jar:na]      at java.lang.Thread.run(Thread.java: 744 ) [na: 1.7 .0_51]

      

二、使用Canal客户端，获取goods表的数据变化

         代码在 git@github.com:mcj2761358/marry.git

         执行以下接口，开启实时索引：http://localhost:8080/marry/goods/realIndex

         此时，你去数据库直接修改一个字段，然后看一下最新的索引，看一下是否变化！有任何问题可联系：chongjian.min@tqmall.com

         <完>