- 博客(10)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 canal报错com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …
1 问题使用canal 1.0.25，启动canal服务端时或更新数据库数据时，canal服务端报错。报错如下：com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …2 分析引起这个问题的原因是创建表的SQL语句中有“)”。根本原因是canal依赖的druid版本的问题。3 解决措...
2018-11-29 14:51:39
12083
原创 canal的搭建以及操作
一、环境介绍canal是阿里开源的中间件，主要用于同步mysql数据库变更。具体参见：https://github.com/alibaba/canal/releases搭建环境：vmware centos7 部署mysql和canalwindows开发canal client，自动捕获mysql数据库变更二、Centos安装Mysql1、尝试用yum安装mysqlwg...
2018-11-29 14:50:29
2956
原创 实时抽取mysql的数据工具----canal（一）
1、准备：github:https://github.com/alibaba/canal里面有包括canal的文档，server端 client端的 例子 源码包等等。2、canal概述：canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主...
2018-11-29 14:47:49
2563
原创 hadoop所有版本的下载地址
Apache的hadoop下载地址地址：https://archive.apache.org/dist/hadoop/common/CDH的hadoop下载地址地址：http://archive.cloudera.com/cdh5/cdh/5/ 下载案例首先找到下载的地址，然后再后面加上.tar.gz就可以下载了CDH的下载工具都在http://archive.cloud...
2018-11-22 19:00:00
9670
原创 解决hbase RegionServer频繁宕机的一些办法
HBase在使用中会遇到非常多的问题，最为常见的就是HBase regionserver挂掉（此文中简称regionserver为RS），而RS挂掉的原因各不相同。在本文中对遇到过的HBase RS挂掉的情况做一个简单的整理。HBase集群预留内存不足现象：HBase RS在起来1-2min后马上挂掉日志为如下日志段的重复：Mon Aug 6 10:23:54 CST 2018...
2018-11-21 15:30:49
4379
原创 贝叶斯算法
从贝叶斯定理说开去 简介 贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论。以下摘一段 wikipedia 上的简介：所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如“假设袋子里面有 N 个白球，M 个黑...
2018-11-15 13:07:55
284
原创 hbase调优总结
一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，或者出现OutOfMemory，因此该值不是越大越好。 2）、hbase.h...
2018-11-09 17:07:32
186
原创 cdh中在线安装及使用Phoenix
1.1： 下载CDH 需要parcel包下载地址： http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3...
2018-11-09 10:56:10
1280
原创 flume报错flume java.lang.OutOfMemoryError: GC overhead limit exceeded
flumeJava内存溢出造成解决方案：vim /flume_app/apache-flume-1.6.0-bin/bin/flume-ng发现JAVA_OPTS="-Xmx20m" 把参数调大点就可以解决JAVA_OPTS="-Xmx2048m"
2018-11-08 13:36:48
907
原创 swap自动释放内存
#free -mh如上图，一般情况下不会用到swap的，一般物理内存使用在90%以上(默认是这个数，可以自行在/etc/sysctl.conf里设置vm.swappiness参数)，但有的时候，内存会被缓存占用，导致系统开始使用swap空间，此时就需要清理下swap了这里先说下vm.swappiness参数，设置成vm.swappiness＝10：就是说当内存使用90%以上才会使用swap空间...
2018-11-02 17:18:20
2538
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人