![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据同步
数据同步工具
婲落ヽ紅顏誶
这个作者很懒,什么都没留下…
展开
-
canal入门教程
cannal安装下载地址 https://github.com/alibaba/canal/releases/tag/canal-1.1.1下载后解压安装即可配置canal.properties中配置canal.instance.master.address = 127.0.0.1:3306canal.instance.dbUsername = canalcanal.instance.dbPassword = canalcanal.instance.defaultDatabaseName.原创 2020-09-18 14:44:39 · 570 阅读 · 0 评论 -
datax入门
datax安装环境准备:python版本:2.6.6jdk版本:1.7datax下载http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gzdatax解压安装#解压tar -zxvf datax.tar.gz -C /opt/install/datax#安装(进入bin目录执行)python datax.py ../job/job.json测试是否安装成功stream2stream{ "job":.原创 2020-09-16 14:22:16 · 253 阅读 · 0 评论 -
docker安装sqoop
通过共享目录上传sqoop首先下载sqoop压缩包,上传至共享目录解压sqoop进入docker得共享目录,将压缩包移动至指定位置,并进行解压tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz配置sqoop进入解压后得sqoop的conf目录修改sqoop-env.sh#sqoop-env.sh默认不存在cp sqoop-env-template.sh sqoop-env.shvi sqoop-env.sh#配置hadoo.原创 2020-09-10 17:36:39 · 1256 阅读 · 0 评论 -
sqoop使用注意事项
**概念:**Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。使用注意事项:尽管有以上的优点,在使用Sqoop的时候还有一些事情需要注意。首先,对于默认的并行机制要小心。默认情况下的并行意味着Sqoop假...原创 2019-07-24 21:15:17 · 666 阅读 · 0 评论 -
sqoop常用命令
sqoop-import 注意点 import 可能会用到的参数:Argument Described --append Append data to an existing dataset in HDFS--as-sequencefile import序列化的文件 --as-textfile import plain文件 ,默认 --columns <col,col,...转载 2019-07-24 21:25:32 · 179 阅读 · 0 评论