- 博客(3)
- 资源 (17)
- 收藏
- 关注
原创 初识数据源同步利器--DataX
一、DataX是什么?DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念:为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入...
2019-11-29 19:23:44 2012
原创 Spark写文件失败测试记录
环境:Spark Version: 2.4.0目的:包含非法数据的情况下,spark是否能够写入?还是什么都没有?验证:使用Spark-shell On Yarn 本地方式提交1、本地进行任务提交,使用spark-shell快速验证/opt/spark-2.4.0-bin-hadoop2.7/bin/spark-shell \--master yarn \--queue root....
2019-11-23 17:58:22 557
原创 sqoop抽数的一个小细节
sqoop抽数的时候我们一般会在jdbc参数上附加加一些条件做些字符编码的相关设置等,但是亲自测试会发现一些小问题。如下示例:sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \-Dmapred.job.queue.name=xxx \--connect jdbc:mysql://xxx:3306/xx...
2019-11-12 10:59:44 1056
H2DB所需的jar和DEMO示例,可直接导进eclipse中
2015-05-21
Android 线程AsyncTask逐步在list中加入条目
2013-10-12
web应用技术入门范例 非常实用
2013-10-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人