数据仓库项目笔记1

2019.8.24

技术选型：

• 数据的采集
  • Flume: 分布式日志数据汇总
  • Sqoop: 离线批量抽取数据库
  • Cannel: 实时数据库追条监听
• 数据的存储
  • hdfs
  • redis
  • hbase/elasticsearch
  • kafka
  • mysql
• 数据的运算
  • MR
  • hive
  • Spark core/sql/streaming
  • flink
• 算法
  • 基本统计算法
  • 图计算Spark Graphix
  • 机器学习

• 日志数据清洗:
  ODS(数据操作层)->DWD(数据明细层)
  日志数据格式:
  id, pid, address, add_type, longitude, latitude
  业务需求: 提取地理位置信息生成字典表

• 技能1: geohash编码:
  根据经纬度生成geohash
  地理位置编码 :二分切分经纬度 1 1表示四个区域 无限切分 组成111111111111111111 越多表示位置精度越高 然后用base32 一个字符表示5个1
  

• 技能2: UDF函数
  

• 技能3:
  dataframe 和rdd 区别:dataframe = rdd + schame
  schame 是描述信息: 包括字段和类型(结构), dataframe 中有getschame方法
  dataframe是弱类型 row 包含各个类型相当于java中 map 包含字段名称 无名称的数据输入 默认value _col 有名称的数据输入带有名称
  

• 技能4
  Sql自连接join的需求发现如下几点：

  • 未指定主键：表中zip_code未设置为主键，那么该字段就不会自动创建索引，所以导致多次JOIN时每次都全表查询，速度特别慢，指定索引后，查询速度降到了1s以下；
  • 将Double类型的字段改为String类型：之前经纬度信息使用double类型保存，精度和长度都使用的数据库默认值，改为String类型后，查询速度快了大约0.2s
  • 将每个表join之前先进行level的过滤，及每次join的都是比较小的表，代码量增加，但查询时间快了大约0.2s