p2018jjy1bpky的博客

原创 全国职业技能大赛高职组(最新职业院校技能大赛_大数据应用开发样题解析-模块B：数据采集-任务一：离线数据采集

任务分析 当我们看到样题题目时，往往会感到困惑，table1，table2······？这显然是赛方故意模糊表名，让我们不知道具体的数据来源。但这也有一个好处，就是操作的表数量是固定的，只有11张，不会随着题目而增加。 细节一：任务描述中提到，“(ods 库中部分表没有数据，正常抽取即可)”，意思也就是，在ods库中部分表是没有存量数据的，对于这些表直接全量抽取即可；对于有存量数据的，则需要增量抽取。 细节二：我们不知道赛方在ods库中存放的是何种格式，如果Hive表是用命令行创建的ods中的hive表