大数据开发套件—数据集成常见问题

 

 

我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 大数据开发套件 过程中遇到的常见问题，供大家参考~

Q： 配置数据同步任务，在选择数据源时，出现下图中的错误，该怎么办？

A： 建议您刷新页面，清空缓存，重新登录。

Q：数据同步时，如何进行增量同步？
A： 具体操作可参考 数据增量同步 文档 。

Q：新增数据源时，RDS 数据源测试连通性不通怎么办？
A：当 RDS 数据源测试连通性不通时，需要到自己的 RDS 上添加数据同步机器 IP 白名单：
10.152.69.0/24,10.153.136.0/24,10.143.32.0/24,120.27.160.26,10.46.67.156,120.27.160.81,10.46.64.81,121.43.110.160,10.117.39.238,121.43.112.137,10.117.28.203,118.178.84.74,10.27.63.41,118.178.56.228,10.27.63.60,118.178.59.233,10.27.63.38,118.178.142.154,10.27.63.15,100.64.0.0/8

注意：若使用自定义资源组调度 RDS 的数据同步任务，必须把自定义资源组的机器 IP 也加到 RDS 的白名单中 ，同时要确保以下问题正常：

• 网络：确保网络和端口之间是能够联通，网络连接失败，可以再检查一下 ECS 的防火墙以及安全组设置；

• 确保添加的信息正确：用户名\密码\jdbcUrl 中的 IP 地址和端口必须确保正确；

• 确保自建的数据库涉及的安全访问限制，权限的限制和能否远程登录的情况；

• 在 VPC 的环境下购买的 ECS 只能用脚本模式运行任务，在添加数据源时测试连通性不能成功 。购买 ECS 可以添加自定义资源，将同步任务下发到相应的资源组运行 。

转载于:https://my.oschina.net/u/3471671/blog/911765