助力工业物联网，工业大数据之DWD层构建：数据抽取分析【十一】_数据分析数据抽取代码注释

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

知识点19：DWD层构建：数据抽取测试

• 目标：实现DWD层数据抽取的测试
• 路径
  • step1：代码讲解
  • step2：代码测试
• 实施
  • 代码讲解
    • step1：如何获取所有表名？
      • 所有表名都在list中
    • step2：如何获取所有字段的信息？
      • 从Oracle中获取
  • 代码测试
    • 取消第6段代码的注释
    • 运行代码，查看结果
• 小结
  • 实现DWD层数据抽取的测试

知识点20：整体代码重难点回顾

• 目标：掌握整体代码的重难点
• 实施
  • 问题1：怎么读取表名的？
    • 表名：文件
    • FileUitil：读取文件
    • TableNameUtil：将表名拆分全量列表和增量列表
  • 问题2：怎么构建连接的？
    • Oracle：cx_Oracle
      • conn(hostname,port,username,password,sid)
    • Hive/SparkSQL：PyHive
      • conn(hostname,port,username,password)
    • 执行SQL规则
      • step1：必须构建一个连接
      • step2：从连接中获取游标，定义SQL
      • step3：使用游标执行SQL语句
      • step4：释放资源
  • 问题3：为什么要把连接地址写在文件里？
    • 开发规范
    • df.write.jdbc(url,table,properties)
      • 地址
      • 端口
      • 用户名
      • 密码
      • 表名
  • 问题4：怎么拼接SQL语句的？
    • 字符串的拼接
  • 问题5：怎么执行SQL语句的？
    • 游标：execute(SQL)
  • 问题6：怎么获取Oracle的表的信息的？
    • Oracle将每张表的每一列的信息都存储Oracle系统表中
      • 通过SQL就可以查询到表的这些信息
    • TableMeta：表的信息
      • 表名：String
      • 表的注释：String
      • 列的信息：List[ColumnMeta]
    • ColumnMeta：列的信息
      • 列名
      • 列注释
      • 列类型
      • 长度
      • 精度
• 小结
  • 掌握整体代码的重难点

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**