千锋大数据学习提升系统离线数仓

最新推荐文章于 2024-07-13 17:26:25 发布
最新推荐文章于 2024-07-13 17:26:25 发布
阅读量360 收藏 1
点赞数
分类专栏： 大数据练习 文章标签： hive sqoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40469797/article/details/110819319
版权

千锋大数据学习提升系统离线数仓

1 打入业务数据

将 qf_exam20181010.sql 文件导入 Mysql

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rQDg4SH7-1607325243327)(C:\Users\Acer\Desktop\2.png)]

2 将业务数据导入hive表

2.1 init_qianfeng_ods.hql

Create Database `qianfeng_ods`;

use qianfeng_ods;

//创建答卷表

CREATE TABLE if not exists `qianfeng_ods`.`answer_paper` (
	`id` int,
	`exam_id` int,
	`paper_id` int,
	`examinee_id` int,
	`examinee_name` string,
	`examinee_num` string,
	`class_id` int,
	`class_name` string,
	`start_date` string,
	`exam_time` string,
	`submit_time` string,
	`objective_mark` int,
	`subject_mark` int,
	`subject_smart_mark` int,
	`check_state` int,
	`teacher_id` int,
	`objective_answer_json` string,
	`subject_answer_json` string,
	`subject_check_json` string,
	`objective_check_json` string,
	`evaluation_opinions` string
)row format delimited
fields terminated by '\001';

//创建类表
CREATE TABLE `qianfeng_ods`.`category` (
	`id` int,
	`name` string ,
	`outline_json` string ,
	`subject_id` int ,
	`subject_name` string ,
	`remark` string  ,
	`del` int ,
	`modifier_id` int ,
	`modifier_name` string ,
	`modify_time` string ,
	`creator_id` int ,
	`creator_name` string ,
	`create_time` string 
)row format delimited
    fields terminated by '\001';
    
//创建考试表
CREATE TABLE `qianfeng_ods`.`exam` (
     `id` int ,
     `name` string ,
     `paper_template_id` int ,
     `subject_id` int ,
     `subject_name` string ,
     `limit_minute` int ,
     `pass_score` int ,
     `full_mark` int ,
     `volume_num` int ,
     `remark` string  ,
     `state` int ,
     `del` int ,
     `start_time` string ,
     `modifier_id` int ,
     `modifier_name` string ,
     `modify_time` string ,
     `creator_id` int  ,
     `creator_name` string ,
     `create_time` string  ,
     `publish` int
)row format delimited
    fields terminated by '\001';

//创建考试与班级关联表
CREATE TABLE `qianfeng_ods`.`exam_class_ref` (
      `id` int ,
      `exam_id` int ,
      `class_id` int ,
      `class_name` string 
)row format delimited
    fields terminated by '\001';

//创建试卷表
CREATE TABLE `qianfeng_ods`.`paper` (
      `id` int ,
      `exam_id` int  ,
      `is_objective` int  ,
      `is_subjective` int ,
      `creator_id` int ,
      `creator_name` string ,
      `create_time` string 
)row format delimited
    fields terminated by '\001';

//创建试卷试题表
CREATE TABLE if not exists `qianfeng_ods`.`paper_question` (
	`id` int,
	`paper_id` int,
	`question_id` int
)row format delimited
fields terminated by '\001';

//创建试卷模板表
CREATE TABLE `qianfeng_ods`.`paper_template` (
	`id` int,
	`name` string,
	`subject_id` int,
	`subject_name` string,
	`state` int,
	`total_mark` int,
	`del` int,
	`modifier_id` int,
	`modifier_name` string,
	`modify_time` string,
	`creator_id` int,
	`creator_name` string,
	`create_time` string
)row format delimited
    fields terminated by '\001';



//创建试卷模板题型组成各难度题数表
CREATE TABLE if not exists `qianfeng_ods`.`paper_template_category_ref` (
	`id` int,
	`paper_template_id` int,
	`category_id` int
)row format delimited
    fields terminated by '\001';

//创建试卷模板题型组成表
CREATE TABLE `qianfeng_ods`.`paper_template_part`
(
	`id` int,
	`paper_template_id` int,
	`question_type_id` int,
	`per_question_mark` int,
	`sort` int,
	`selected` int
)row format delimited
    fields terminated by '\001';


//创建试卷模板题型组成各难度题数表
CREATE TABLE `qianfeng_ods`.`paper_template_part_question_number`
(
    `id`                     int,
    `paper_template_part_id` int,
    `question_difficulty_id` int,
    `question_number`        int
)row format delimited
    fields terminated by '\001';


//创建试题表
CREATE TABLE if not exists `qianfeng_ods`.`question`
(
 	`id` int,
 	`category_id` int,
 	`question_type_id` int,
 	`question_difficulty_id` int,
 	`state` int,
 	`content` string,
 	`right_answer` string,
 	`analyse` string,
 	`del` int,
 	`modifier_id` int,
 	`modifier_name` string,
 	`modify_time` string,
 	`creator_id` int,
 	`creator_name` string,
 	`create_time` string
)row format delimited
    fields terminated by '\001';


//创建试题难度表
CREATE TABLE `qianfeng_ods`.`question_difficulty` (
	`id` int,
	`difficulty` int,
	`name` string
)row format delimited
    fields terminated by '\001';


//创建试题选项表
CREATE TABLE if not exists `qianfeng_ods`.`question_option` (
	`id` int,
	`content` string ,
	`sort` int,
	`question_id` int,
	`is_right` int
)row format delimited
    fields terminated by '\001';


//创建试题类型表
CREATE TABLE if not exists `qianfeng_ods`.`question_type` (
	`id` int,
	`type` int,
	`name` string,
	`is_objective` int
)row format delimited
fields terminated by '\001';

2.2创建脚本

vi init_qianfeng_ods.sh
hive -f /opt/hql/init_ods_sales_order.hql

2.2使用sqoop将业务数据导入hive表中

#!/bin/bash

hive -f /opt/hql/init_ods_qianphone.hql

//将数据导入类表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table category \
--hive-import \
--hive-table qianfeng_ods.category \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试题类型表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table question_type \
--hive-import \
--hive-table qianfeng_ods.question_type \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试题难度表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table question_ difficulty \
--hive-import \
--hive-table qianfeng_ods.question_ difficulty \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试题表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table question \
--hive-import \
--hive-table qianfeng_ods.question \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试题选项表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table question_option \
--hive-import \
--hive-table qianfeng_ods.question_option \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试卷模板题型组成表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table paper_template \
--hive-import \
--hive-table qianfeng_ods.paper_template \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试卷模板
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table paper_template_category_ref \
--hive-import \
--hive-table qianfeng_ods.paper_template_category_ref \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试卷模板与分类关联表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table paper_template_part \
--hive-import \
--hive-table qianfeng_ods.paper_template_part \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试卷模板题型组成各难度题数表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table paper_template_part_question_number \
--hive-import \
--hive-table qianfeng_ods.paper_template_part_question_number \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入考试表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table exam \
--hive-import \
--hive-table qianfeng_ods.exam \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入考试与班级关联表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table exam_class_ref \
--hive-import \
--hive-table qianfeng_ods.exam_class_ref \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试卷表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table paper \
--hive-import \
--hive-table qianfeng_ods.paper \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入试卷试题表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table paper_question \
--hive-import \
--hive-table qianfeng_ods.paper_question \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

//将数据导入答卷表
sqoop import \
--connect jdbc:mysql://192.168.10.131:3306/qianfeng \
--password 123456 \
--username root \
--table answer_paper \
--hive-import \
--hive-table qianfeng_ods.answer_paper \
--delete-target-dir \
--fields-terminated-by '\001' \
--num-mappers 1 \
--as-textfile

2.3 JSON 解析

public static String parseScores(String scores){
   
        if (scores.equals("{}")){
   
            return "";
        }

        String result="";
        Map map = (Map)JSON.parse(scores);
        Iterator<Map.Entry<String, String>> it = map.entrySet().iterator();

        while (it.hasNext()) {
   

            Map.Entry entry = it.next();

            
            Map map1=(Map
最低0.47元/天 解锁文章
Vln
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据离线批处理场景化解决方案----离线处理技术框架介绍
weixin_46414576的博客
03-06 2677
大数据离线批处理化解决方案 HDFS概述 • HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发。 • 其除具备其它分布式文件系统相同特性外，HDFS还有自己特有的特性： • 高容错性：认为硬件总是不可靠的。 • 高吞吐量：为大量数据访问的应用提供高吞吐量支持。 • 大文件存储：支持存储TB-PB级别的数据。 • 不适用场景： • 低时...
网络安全工程师（千峰教育）笔记
11-03
b站的千峰老师的网络安全工程师的系列课程的笔记，自己整理的，pdf版本，内容包含day2--------day24。
大数据学习-离线数仓项目实战笔记（上）
weixin_43320999的博客
12-23 2365
1. 前置 1.1. 软件版本 产品 版本 Hadoop 2.9.2 Hive 2.3.7 Flume 1.9 DataX 3.0 Airflow 1.10 Atlas 1.2.0 Griffin 0.4.0 Impala impala-2.3.0-cdh5.5.0 MySQL 5.7 1.2. 软件安装分布情况 服务器 linux121 linux122 linux123 Hadoop √ namenode √ √ seconderyna
Java基础——Lambda表达式——lambda规则详解与常见使用
Arrake的博客
08-14 3112
参考：https://www.bilibili.com/video/BV164411E7Ny Lambda表达式 一、Lambda表达式简介 什么是Lambda？ Lambda是JAVA 8添加的新特性，说白了，Lambda是一个匿名函数 为什么使用Lambda 使用Lambda表达式可以对一个接口的方法进行非常简洁的实现 Lambda对接口的要求 接口的抽象方法只能是一个，lambda表达式才能实现该接口 在JAVA8中 ，对接口加了一个新特性：default 可以使用default对接口方法进行修饰，被
离线数仓（1）
song_quan_的博客
04-24 433
如何构建离线数仓 author：宋权 tel/V:18211850987 备注：在工作和面试过程中，越来越多的公司开始使用数仓，并构建自己的数仓，无论是使用阿里云，还是自己的服务器来进行搭建，通过构建数据仓库，进而实现数据集市，应对各个部门的数据分期，业务报表，以及机器学习相关工作的使用，所以通过B站上的资料，自己通过学习，进行下整理，减少要看几百集视频来来学习，时间的话费，提取精华，同时也做一个自己学习的记录，如果有不对的地方，欢迎大家指正，共同提高。 1.项目需求 在实际企业中，数据大多分为离
千锋大数据培训心得体会.pdf
11-24
...
千锋大数据培训心得体会.docx
11-24
...
千锋大数据程序开发周末班教学大纲（20170823更新）
05-17
千锋大数据程序开发周末班教学大纲（20170823更新）千锋大数据程序开发周末班教学大纲（20170823更新）千锋大数据程序开发周末班教学大纲（20170823更新）千锋大数据程序开发周末班教学大纲（20170823更新）
千锋渗透测试学习专用文章管理系统php-cms网站源代码
07-30
千锋网络安全渗透测试Web架构安全分析章节配套的一个网站源码（cms.zip），用于安全渗透学习，名称为：文章管理系统。使用前需要先配置数据库，导入mysql文件。 这个网站仅用于千锋网络安全学习使用，内容来源网络，...
千锋dubbozookeeper分布式系统架构基础
07-22
本套课程通过Dubbo发布引用远程服务,以及SpringBoot方式整合Dubbo。Java技术交流群：670348138。 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
Hive/Spark窗口函数
初阳
07-09 798
结果中，对于每一行的last_value的结果都是当前值，并不分区中按salary升序的最后一个值。前面在提到last_value时，特意强调了该函数的结果并不是分区中的最后一个值，结合上述介绍的window specification再来看下该函数的结果值。注意，默认情况下last_value取的是第一行截止到当前行的最后一个值(当前行的值)，并不是整个分区中排序后的最后一个值。注意，如果order by的结果相同，则rank得到的结果都相同，在这里的语义是排序结果相同，因此等级编号也相同。
开启HIVE中分区表支持中文字段
2301_77836489的博客
07-10 332
开启HIVE中分区表支持中文字段
升级springboot3.2集成shiro的问题
月色无痕的专栏
07-10 257
升级到最新版的springboot3.2，shiro无效
数据湖仓一体(四)安装hive
知行合一
07-12 192
安装hive
RequestContextHolder多线程获取不到request对象
qq_21480329的博客
07-09 510
RequestContextHolder多线程获取不到request对象
hive通过查询语句创建表
2301_77836489的博客
07-10 237
hive通过查询语句创建表
【Druid 未授权访问漏洞】解决办法
最新发布
苏叶新城
07-13 65
【代码】【Druid 未授权访问漏洞】解决办法。
HIVE启动报错HiveException java.lang.RuntimeException:
2301_77836489的博客
07-09 449
HIVE启动报错HiveException java.lang.RuntimeException:
qfedu-数据仓库学习大纲
02-03
qfedu_数据仓库学习大纲

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值