自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

十色花的博客

包含大数据各类知识

  • 博客(10)
  • 资源 (2)
  • 收藏
  • 关注

原创 canal报错com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …

1 问题使用canal 1.0.25,启动canal服务端时或更新数据库数据时,canal服务端报错。报错如下:com.alibaba.druid.sql.parser.ParserException: syntax error, error in :'XX') …2 分析引起这个问题的原因是创建表的SQL语句中有“)”。根本原因是canal依赖的druid版本的问题。3 解决措...

2018-11-29 14:51:39 12083

原创 canal的搭建以及操作

一、环境介绍canal是阿里开源的中间件,主要用于同步mysql数据库变更。具体参见:https://github.com/alibaba/canal/releases搭建环境:vmware centos7 部署mysql和canalwindows开发canal client,自动捕获mysql数据库变更二、Centos安装Mysql1、尝试用yum安装mysqlwg...

2018-11-29 14:50:29 2956

原创 实时抽取mysql的数据工具----canal(一)

1、准备:github:https://github.com/alibaba/canal里面有包括canal的文档,server端 client端的 例子 源码包等等。2、canal概述:canal是应阿里巴巴存在杭州和美国的双机房部署,存在跨机房同步的业务需求而提出的。早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主...

2018-11-29 14:47:49 2563

原创 hadoop所有版本的下载地址

Apache的hadoop下载地址地址:https://archive.apache.org/dist/hadoop/common/CDH的hadoop下载地址地址:http://archive.cloudera.com/cdh5/cdh/5/ 下载案例首先找到下载的地址,然后再后面加上.tar.gz就可以下载了CDH的下载工具都在http://archive.cloud...

2018-11-22 19:00:00 9670

原创 解决hbase RegionServer频繁宕机的一些办法

HBase在使用中会遇到非常多的问题,最为常见的就是HBase regionserver挂掉(此文中简称regionserver为RS),而RS挂掉的原因各不相同。在本文中对遇到过的HBase RS挂掉的情况做一个简单的整理。HBase集群预留内存不足现象:HBase RS在起来1-2min后马上挂掉日志为如下日志段的重复:Mon Aug  6 10:23:54 CST 2018...

2018-11-21 15:30:49 4379

原创 贝叶斯算法

从贝叶斯定理说开去   简介 贝叶斯定理是18世纪英国数学家托马斯·贝叶斯(Thomas Bayes)提出得重要概率论理论。以下摘一段 wikipedia 上的简介:所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章,而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前,人们已经能够计算“正向概率”,如“假设袋子里面有 N 个白球,M 个黑...

2018-11-15 13:07:55 284

原创 hbase调优总结

一、服务端调优 1、参数配置   1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越大越好。   2)、hbase.h...

2018-11-09 17:07:32 186

原创 cdh中在线安装及使用Phoenix

1.1: 下载CDH 需要parcel包下载地址: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3...

2018-11-09 10:56:10 1280

原创 flume报错flume java.lang.OutOfMemoryError: GC overhead limit exceeded

flumeJava内存溢出造成解决方案:vim /flume_app/apache-flume-1.6.0-bin/bin/flume-ng发现JAVA_OPTS="-Xmx20m" 把参数调大点就可以解决JAVA_OPTS="-Xmx2048m"

2018-11-08 13:36:48 907

原创 swap自动释放内存

#free -mh如上图,一般情况下不会用到swap的,一般物理内存使用在90%以上(默认是这个数,可以自行在/etc/sysctl.conf里设置vm.swappiness参数),但有的时候,内存会被缓存占用,导致系统开始使用swap空间,此时就需要清理下swap了这里先说下vm.swappiness参数,设置成vm.swappiness=10:就是说当内存使用90%以上才会使用swap空间...

2018-11-02 17:18:20 2538

已经配好的canal包,解压即可完美使用

实时抽取mysql数据到kafka的工具canal,此处已经配置好,解压稍微修改即可使用。

2018-12-21

配置过得canal包,直接解压,稍微修改一下即可用

基于实时抽取mysql的binlog日志到kafka的组件,已经配好,稍微修改即可使用。

2018-12-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除