ADS
hello_alldatabase
这个作者很懒,什么都没留下…
展开
-
datax3.0数据迁移连接不上mysql8.0
项目背景将云上的ADB3.0的数据迁移到本地mysql8.0.20中,发现datax3.0不好使了,只能通过kettle或navicat功能来同步了,但同步效率不高,为了彻底解决该问题,决定查看datax源码解决思路1、查看mysqlreader和writer源码引用的包2、从相应的引用包找到mysql连接的类名3、上传相应的mysql驱动包到4、修改pom.xml文件个人思考1、mysql数据库版本与驱动程序是否需要一 致?2、高版本的mysql驱动程序是否能跨大版本向下兼容?3原创 2020-11-04 12:10:35 · 1114 阅读 · 0 评论 -
阿里公有云与专有云上ADB3.0的功能区别
项目背景因项目上使用了阿里专有云上ADB数据库,发现和公有云上申请的数据库有一些小的出入,特意记录一下。数据库版本与规格专有云内核版本:mysql3.0 --3.0.5.1规格:两节点,C8公有云内核版本:mysql3.0 --3.1.1.9规格:1节点,T32功能限制区别1、专有云上每个节点默认只能创建256张表,需要调整相应参数才能更多的表且受表最大表数量限制(两节点最大2500),而公有云上创建了2200张表也没有遇到此问题。2、专有云上可以查看以kehlper开始的视图,可以看原创 2020-11-02 16:52:05 · 1260 阅读 · 0 评论 -
oracle迁移到阿里ADB---SQL语句书写规范
项目背景最近遇到一个几年前开发的项目,SQL语句是基于oracle数据库开发的。因去O、上云的大背景,准备将oracle数据库迁移到其他数据库中,调研有两种方案:一是在专有云上自建数据库,二是在专有云上直接申请云数据库,最后结合项目整体情况(包括运维成本、开发成本、项目进度等 )考虑,决定直接使用阿里云的ADB3.0 ,接下来就将SQL适配过程中遇到的SQL语句书写规范整理如下SQL规范1、SQL语句统一使用小写2、多表关联时,所有列名的引用必须使用表别名前缀select a.col1,b.col原创 2020-11-02 15:32:20 · 509 阅读 · 0 评论 -
阿里云ADB单节点表数量限制问题
系统环境阿里专有云上分析型数据库mysql3.0,具体版本3.0.5.1具体配置规格:C8节点数据:2节点说明:2节点三副本问题现象创建业务表时提示表数量超过512时,不允许创建新表解决方式刚开始看到此提示认为可以在数据库参数层面进行调整,结果找了一个圈没有找到相应的参数,web管理网页也没有找到相应的设置(没有权限导致的)。后面咨询了阿里云得到的回复是每个节点的默认的表数量是256,两个节点是512,需要在后端的WEB管理界面的config选项中添加一个参数RC_ALLOWED_TAB原创 2020-10-27 22:00:25 · 771 阅读 · 0 评论 -
批量生成数据迁移神器datax的json配置文件
项目背景项目每天需要从oracle,gbase8a两种数据库中抽取增量数据和全量数据,之前是基于kettle+crontab来实现数据的抽取与调度实现思路实现方式总结参考资料https://www.yuque.com/docs/share/454e9a42-b6c7-44b2-9d29-1d5795199456?#a92bb2f4...原创 2020-10-14 16:17:30 · 4394 阅读 · 6 评论 -
mysql5.6.46迁级到ADS中遇到的一些SQL写法问题
项目背景目前平台所使用的mysql数据库无法用分析型计算,经常出现SQL语句执行缓慢(多表关联),导致数据库执行查询操作,长时间不出结果。因为整个工程中有阿里云平台,上面有大量产品,于是申请了两节ADS来试用,下面将试用过程中遇到的SQL问题做一个整理。系统环境源端:mysql5.6.46主从目标端:ADS C8 5.1.39SQL问题1、SQL语句中不支持@AA=1方式进行运算,支持row_number窗口函数2、支持with as 这种写法,解决了mysql5.6不支持with as功能(原创 2020-09-25 21:05:16 · 245 阅读 · 0 评论