数据同步
数据同步工具
婲落ヽ紅顏誶
这个作者很懒,什么都没留下…
展开
-
canal入门教程
cannal安装 下载地址 https://github.com/alibaba/canal/releases/tag/canal-1.1.1 下载后解压安装即可 配置 canal.properties中配置 canal.instance.master.address = 127.0.0.1:3306 canal.instance.dbUsername = canal canal.instance.dbPassword = canal canal.instance.defaultDatabaseName.原创 2020-09-18 14:44:39 · 604 阅读 · 0 评论 -
datax入门
datax安装 环境准备:python版本:2.6.6 jdk版本:1.7 datax下载 http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz datax解压安装 #解压 tar -zxvf datax.tar.gz -C /opt/install/datax #安装(进入bin目录执行) python datax.py ../job/job.json 测试是否安装成功stream2stream { "job":.原创 2020-09-16 14:22:16 · 285 阅读 · 0 评论 -
docker安装sqoop
通过共享目录上传sqoop 首先下载sqoop压缩包,上传至共享目录 解压sqoop 进入docker得共享目录,将压缩包移动至指定位置,并进行解压 tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz 配置sqoop 进入解压后得sqoop的conf目录修改sqoop-env.sh #sqoop-env.sh默认不存在 cp sqoop-env-template.sh sqoop-env.sh vi sqoop-env.sh #配置hadoo.原创 2020-09-10 17:36:39 · 1275 阅读 · 0 评论 -
sqoop使用注意事项
**概念:**Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 使用注意事项: 尽管有以上的优点,在使用Sqoop的时候还有一些事情需要注意。首先,对于默认的并行机制要小心。默认情况下的并行意味着Sqoop假...原创 2019-07-24 21:15:17 · 676 阅读 · 0 评论 -
sqoop常用命令
sqoop-import 注意点 import 可能会用到的参数: Argument Described --append Append data to an existing dataset in HDFS --as-sequencefile import序列化的文件 --as-textfile import plain文件 ,默认 --columns <col,col,...转载 2019-07-24 21:25:32 · 194 阅读 · 0 评论