BigData
文章平均质量分 64
商俊超
大数据猿人。努力不被开猿节流!
展开
-
BigData项目-②数据集成
1. 生成GEOHASH字典1.1 先将全国的经纬度整理成省市区经纬度的格式CREATE TABLE area_dictASSELECT sheng.AREANAME provience, shi.AREANAME city, qu.AREANAME region, qu.BD09_LNG BD09_LNG, qu.BD09_LAT BD09_LATFROMt_md_areas quJOINt_md_areas shi ON qu.PARENTID = shi.IDJO原创 2021-01-13 21:50:35 · 285 阅读 · 0 评论 -
BigData项目 -①将flume完的日志文件导入到hive数仓中
1. flume日志文件1.1 上游conf文件a1.sources = r1a1.channels = c1a1.sinks = k1 k2a1.sources.r1.channels = c1a1.sources.r1.type = TAILDIRa1.sources.r1.filegroups = g1 g2a1.sources.r1.filegroups.g1 = /opt/data/logdata/app/event.*a1.sources.r1.filegroups.原创 2021-01-11 20:13:29 · 461 阅读 · 0 评论