lhmqy的博客

一、MySQL导入数据 数仓是建立在 hive 上，有两层（ODS 层 rds 库）和 DW 层（tds 库），存储格式 日期维度 textfile，其他 orc。 可使用命令导入sql文件。 建mysql表语句： CREATE DATABASE IF NOT EXISTS sales_source DEFAULT CHARSET utf8 COLLATE utf8_general_ci; USE sales_source; DROP TABLE IF EXISTS customer; DROP TABL

一、有以下两个文件，字段分别为：orderid(订单ID),userid(用户ID),payment(支付金额),productid(商品ID)。使用Spark完成以下需求。 file1.txt 1,1768,50,155 2,1218,600,211 3,2239,788,242 4,3101,28,599 5,4899,290,129 6,3110,54,1201 7,4436,259,877 8,2369,7890,27 file2.txt 100,4287,226,233 101,6562,4

建表： private val schema = StructType(Array( StructField("student_id", IntType, true), StructField("student_name", StringType, true), StructField("birth", StringType, true), StructField("sex", StringType, true) )) val rdd = sc.makeRDD(Array