qq_41289004的博客

原创 编写Scala代码，使用Spark讲Mysql数据表中的数据抽取到Hive的ODS层

抽取MySQL的shtd_industry库中EnvironmentData表的全量数据进入Hive的ods库中表environmentdata，字段排序、类型不变，同时添加静态分区，分区字段类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。创建一个scala目录并将它标记为根目录，在scala里新建一个object。Mysql数据就导入HIVE数据库的ods层中了。我这里演示用的是Unbanto，操作步骤一样。可以写一个脚本运行你的包。在集群上上传你打好的包。