王傲旗的大数据之路

目标:写个hiveJDBC脚本,将分区完成的数据加载到hive表中package com.czxy.telecom.mapreduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.LocatedFileStatu...

1.重新清洗数据目标：将数据按照年月日的结构，将相同日期的数据整理到一个文件。现有历史数据，一类数据在一个文件中。这个文件中包含了多天、多月、甚至多年的数据。生产系统中需要将这些数据分区存储，即一天一个分区。当天的数据放在当天的分区中。要实现这个功能需要将数据进行拆分。遍历数据中的每一条数据，判断每条数据的所属日期（数据中包含日期格式的数据），将相同日期的数据存放在一个文件中，文件名...

1. 准备数据链接：https://pan.baidu.com/s/1Lzb5sYvJS7Z2RUupV306gw 提取码：pm16 复制这段内容后打开百度网盘手机App，操作更方便哦2. 离线数据入库2.1 将数据上传到linux上传至 /workspace/telecom/datas2.2 创建数据库与表数据库创建create database telecom;...