2021年安徽省大数据与人工智能应用竞赛本科组(省赛)

第三部分:大数据分析

1、 创建一个数据库,以你的用户名命名,创建成功后使用use命令切换为该库,并执行set hive.cli.print.current.db=true;截图(2分)

1)命令截图:

2)执行命令结果截图

2、在HIVE中创建需要的表,并写出建表语句,表结构如下:(3分)

订单表 data_order
在这里插入图片描述
data_address 地址表 通过orderMainId字段与 data_order表中的order_id 字段关联
在这里插入图片描述
data_area 地区表 通过street_code字段与data_address表中的street_id字段关联
在这里插入图片描述
1) 创建hive表 语句截图:

2)创建成功,执行show tables;截图

3、将数据加载到表中,写出加载数据的语句(3分)

数据文件名称分别与表名称对应,(字段分隔符为$$),注意,linux系统和hive默认不支持中文,要自己设置成utf-8编码才可以支持中文。
1) 导入第2步 创建表中的语句截图;

2)执行 select * from table_name 并截图(其中table_name 为前面创建的表名)

4、使用所建的表,按照省市分组,统计 有效订单(subOrder=1)中的 订单总金额(sum),已支付的订单总金额(订单状态state =5、6、7 这三类的paymoney汇总),订单个数(count)(6分)。 输出的字段 包含

在这里插入图片描述
1)sql语句截图:

2)sql语句结果截图:

5、使用所建的表统计每个省订单数最多的3个市(6分)。 输出的字段 包含 省份名称,城市名称,订单个数

1)sql语句截图:

2)sql语句结果截图:

  • 9
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
1.上传tar包 2.解压 tar -zxvf hive-1.2.1.tar.gz 3.安装mysql数据库 推荐yum 在线安装 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-env.sh 配置其中的$hadoop_home (b)配置元数据库信息 vi hive-site.xml 添加如下内容: javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword hadoop password to use against metastore database 5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------------------------------------------------------------------------------------- Hive几种使用方式: 1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err & 启动成功后,可以在别的节点上用beeline去连接 bin/beeline -u jdbc:hive2://mini1:10000 -n root 或者 bin/beeline ! connect jdbc:hive2://mini1:10000 4.Hive命令 hive -e ‘sql’ bin/hive -e 'select * from t_test'
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值