scala ----之不成方圆的一隅

一、类

    1.类成员

      成员变量

      成员方法

二、方法

    1.主方法

      形参  args : Array[String]  String 数组

      声明时间变量

      声明日志变量   

         通过logger类调用getlogger方法

      声明 hivecontext 参数的引用

         通过使用匿名类的方式构建sparkconf对象设置scala名称变量

                                       构建sparkcontext对象传入名称变量

                                       构建hivecontext对象传入spark配置

     2.方法

      时间格式处理方法（多在数据清理层进行处理）

            构建 SimpleDateFormat对象 对时间字段进行处理

      逻辑运算方法

            形参   需要使用的hivecontext 对象引用，时间参数

            声明时间参数

                  使用时间格式处理方法处理

            声明sql参数（动态sql）

                  所需表及逻辑处理的sql脚本语句

            调用hivecontext对象的sql方法将sql参数传入

                  hivecontext.sql（）：执行查询，逻辑运算等操作生成结果集

                                                1. 插入临时表     hivecontext.sql（).registerTempTable()

                                                2.将临时表及数据清理过的表生成的结果集覆写入已有的目标表 

                                                   hivecontext.sql（）.repartition().write.mode().insertInto()

            调用 RDBMSUtil 类的方法 写入oracle数据表及redis

                   RDBMSUtil.deleteRDBMS()

                   RDBMSUtil.writer2RDBMS()

                   RDBMSUtil.writerRDD2Redis()

             调用TimeUtil 类方法记录日志时间