网约车大数据综合项目——数据分析Hive

最新推荐文章于 2024-04-22 00:00:00 发布
最新推荐文章于 2024-04-22 00:00:00 发布
阅读量2.9k 收藏 18
点赞数 7
文章标签： 大数据 数据分析 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CYDYYD/article/details/133848823
版权
本文详细描述了如何使用Hive在Hadoop环境中连接MySQL，进行数据导入、创建表、执行SQL查询（包括统计撤销订单原因、订单量按行政区和时间），以及利用Sqoop将结果导出到MySQL数据库的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第1关：Hive 储存数据

开启Hadoop服务，并使得 Hive 连接 MySQL 初始化

start-all.sh
schematool -dbType mysql -initSchema

进入hive命令行

hive

创建数据库并连接数据库

create database trafficdata;
use trafficdata;

创建表并从本地导入数据

create table cancelorder(companyid string,address string,districtname string,orderid string,ordertime string,canceltime string,operator string,canceltypecode string,cancelreason string) row format delimited fields terminated by '|';
load data local inpath '/data/workspace/myshixun/data/canceldata.txt' into table cancelorder;
create table createorder(companyid string,address string,districtname string,orderid string,departtime string,ordertime string,departure string,deplongitude string,deplatitude string,destination string,destlongitude string,destlatitude string) row format delimited fields terminated by '\t';
load data local inpath '/data/workspace/myshixun/data/createdata.txt' into table createorder;

第2关：统计撤销订单中撤销理由最多的前 10 种理由

开启Hadoop服务，并使得 Hive 连接 MySQL 初始化（已开启无需重复启动）

start-all.sh
schematool -dbType mysql -initSchema

进入hive命令行

hive

连接数据库

use trafficdata;

创建表

create table cancelreason(cancelreason string,num int) row format delimited fields terminated by '\t';

查询数据并插入表

insert into cancelreason  select cancelreason,count(*) num from cancelorder where cancelreason != '未知' group by cancelreason order by num desc limit 10;

上传表

export table cancelreason to'/user/hadoop/cancelreason';

另开命令行进入MySQL

mysql -h127.0.0.1 -uroot -p123123

创建数据库并连接数据库

create database trafficdata;
use trafficdata;

创建表

create table cancelreason(
    cancelreason varchar(255),
    num int not null
);

退出MySQL

exit;

下载数据到MySQL的表

sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/cancelreason/data/000000_0' --table cancelreason --fields-terminated-by '\t';

第3关：查询出成功订单最多的 10 个行政区名

开启Hadoop服务，并使得 Hive 连接 MySQL 初始化（已开启无需重复启动）

start-all.sh
schematool -dbType mysql -initSchema

进入hive命令行

hive

连接数据库

use trafficdata;

创建表

create table order_district(district string,num int) row format delimited fields terminated by '\t';

查询数据并插入表

insert into order_district select districtname,count(*) num from createorder group by districtname order by num desc limit 10;

上传表

export table order_district to'/user/hadoop/order_district';

另开命令行进入MySQL

mysql -h127.0.0.1 -uroot -p123123

连接数据库（无数据库需要新建数据库）

use trafficdata;

创建表

create table order_district(
    cancelreason varchar(255),
    num int not null
);

退出MySQL

exit;

下载数据到MySQL的表

sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/order_district/data/000000_0' --table order_district --fields-terminated-by '\t';

第4关：查询湖南省各个市的所有订单总量

开启Hadoop服务，并使得 Hive 连接 MySQL 初始化（已开启无需重复启动）

start-all.sh
schematool -dbType mysql -initSchema

进入hive命令行

hive

连接数据库

use trafficdata;

创建表

create table orderbycity(city varchar(255),num int) row format delimited fields terminated by '\t';

查询数据并插入表

INSERT INTO orderbycity (city, num) SELECT '湖南省长沙市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省长沙市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省长沙市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省株洲市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省株洲市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省株洲市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省湘潭市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省湘潭市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省湘潭市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省衡阳市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省衡阳市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省衡阳市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省邵阳市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省邵阳市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省邵阳市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省岳阳市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省岳阳市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省岳阳市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省常德市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省常德市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省常德市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省张家界市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省张家界市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省张家界市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省益阳市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省益阳市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省益阳市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省娄底市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省娄底市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省娄底市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省郴州市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省郴州市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省郴州市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省永州市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省永州市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省永州市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省怀化市' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省怀化市%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省怀化市%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;
INSERT INTO orderbycity (city, num) SELECT '湖南省湘西土家族苗族自治州' AS districtname, SUM(total_num) AS total_num FROM (SELECT districtname, SUM(num) AS total_num FROM (SELECT districtname, COUNT(*) AS num FROM cancelorder WHERE districtname LIKE '湖南省湘西土家族苗族自治州%' GROUP BY districtname UNION ALL SELECT districtname, COUNT(*) AS num FROM createorder WHERE districtname LIKE '湖南省湘西土家族苗族自治州%' GROUP BY districtname) AS combined GROUP BY districtname) AS final_result;

上传表

export table orderbycity to'/user/hadoop/orderbycity';

另开命令行进入MySQL

mysql -h127.0.0.1 -uroot -p123123

连接数据库（无数据库需要新建数据库）

use trafficdata;

创建表

create table orderbycity(
    city varchar(255),
    num int not null
);

退出MySQL

exit;

下载数据到MySQL的表

sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_1' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_2' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_3' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_4' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_5' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_6' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_7' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_8' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_9' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_10' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_11' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_12' --table orderbycity --fields-terminated-by '\t';
sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/orderbycity/data/000000_0_copy_13' --table orderbycity --fields-terminated-by '\t';

第5关：统计湖南省当天的每分钟订单总数量

开启Hadoop服务，并使得 Hive 连接 MySQL 初始化（已开启无需重复启动）

start-all.sh
schematool -dbType mysql -initSchema

进入hive命令行

hive

连接数据库

use trafficdata;

创建表

create table order_province_time(`time` string,num int) row format delimited fields terminated by '\t';

查询数据并插入表

insert into order_province_time select datetime, sum(num) as total_num from (select date_format(ordertime, 'yyyy-MM-dd HH:mm') as datetime, count(ordertime) as num from cancelorder where districtname like '湖南省%' group by date_format(ordertime, 'yyyy-MM-dd HH:mm') union all select date_format(departtime, 'yyyy-MM-dd HH:mm') as datetime, count(ordertime) as num from createorder where districtname like '湖南省%' group by date_format(departtime, 'yyyy-MM-dd HH:mm')) as combined group by datetime order by datetime;

上传表

export table order_province_time to'/user/hadoop/order_province_time';

另开命令行进入MySQL

mysql -h127.0.0.1 -uroot -p123123

连接数据库（无数据库需要新建数据库）

use trafficdata;

创建表

create table order_province_time(
    times varchar(255),
    num int not null
);

退出MySQL

exit;

下载数据到MySQL的表

sqoop export --connect jdbc:mysql://127.0.0.1:3306/trafficdata --username root --password 123123 --export-dir '/user/hadoop/order_province_time/data/000000_0' --table order_province_time --fields-terminated-by '\t';
BBQL1
关注
educoder中网约车大数据综合项目 —— 数据分析Spark
weixin_46026136的博客
06-18 598
基于 EduCoder 平台提供的初始数据集，统计湖南省当天的各时间段订单总数量与各市级当天各时间段订单总数量。
共享单车数据分析
qq_39993800的博客
04-07 1056
一、项目背景 共享单车是指企业在校园、地铁站点、公交站点、居民区、商业区、公共服务区等提供自行车单车共享服务，是一种分时租赁模式，是一种新型绿色环保共享经济。 共享单车系统是一种租赁自行车的方法，注册会员、租车、还车都将通过城市中的站点网络自动完成。使用共享单车，可以注册会员，存入一定金额用于使用结束后自动扣费结算；也可以不注册会员，临时使用后通过其提供的支付方式结算费用。人们通过下载APP使用这个系统进行扫码开锁取车，然后从取车地骑到自己的目的地后停放锁车归还，系统自动按实际使用时长计费。 共享单车是近年
网约车大数据综合项目——数据分析Spark
00后的博客
05-31 3661
【代码】网约车大数据综合项目——数据分析Spark。
记录自己做网约车大数据综合项目——数据分析Hive
weixin_64347217的博客
10-08 667
两个表创建完成后，复制一个新的命令行，进入canceldata.txt和createdata.txt所在路径。执行hdfs的put命令，把数据上传到hdfs上的/user/目录中。返回到hive中，执行数据加载，导入数据到表中。在hive中创建数据库trafficdata。在trafficdata中创建表。第一关：Hive存储数据。
HDFS与Hive实战 + 滴滴出行数据分析
cjl的博客
10-13 4951
HDFS与Hive实战 + 滴滴出行数据分析1.HDFS1.1 分布式文件系统1.2 HDFS的Shell命令行1.3 启动Hadoop集群1.4 大数据环境清单2.数据仓库2.1 数据仓库与数据库区别3.Hive3.1 终端连接Hive3.2 Hive操作命令3.3 Hive函数4. Zeppelin5.滴滴出行数据分析5.1 架构图5.2 日志数据集介绍5.3 构建数据仓库5.4 ods创建用户打车订单表5.5 创建分区5.6 上传到对应分区5.7 数据预处理5.8 订单分析5.8.1 app层建表5
大数据毕业设计hadoop+hive共享单车预测分析 公共自行车数据分析 共享单车预测 共享单车大数据 共享单车可视化 共享单车爬虫 数据仓库 机器学习 计算机毕业设计
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
04-22 1561
大数据毕业设计hadoop+hive共享单车预测分析 公共自行车数据分析 共享单车预测 共享单车大数据 共享单车可视化 共享单车爬虫 数据仓库 机器学习 计算机毕业设计
大数据综合项目--网站流量日志数据分析系统(详细步骤和代码)
热门推荐
weixin_54028135的博客
05-31 1万+
文章目录前言：基本概述Sqoop概述什么是SqoopFlume概述什么是Flume为什么需要flumeHIve概述什么是Hive系统背景：模块开发数据采集使用Flume搭建日志采集系统数据预处理实现数据预处理数据仓库开发数据导出日志分析系统报表展示 前言： 提示：这里简述我使用的版本情况： ubuntu16.04 hbase1.1.5 hive1.2.1 sqoop1.4.6 flume1.7.0 项目所使用的参考文档和代码资源和部分数据 网盘链接：链接：https://pan.baidu.com/s/1T
网约车大数据综合项目——基于Spark的数据清洗头歌
最新发布
12-12
网约车大数据综合项目——基于Spark的数据清洗是一个涉及大数据处理和清洗的项目，主要目标是处理和清洗网约车平台产生的海量数据，以便后续的分析和应用。以下是该项目的详细介绍： ### 项目背景 随着网约车服务的...
基于SparkStreaming的实时数据清洗
一曲长歌，一剑天涯
11-22 1万+
数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。实时数据清洗则对于代码的性能更加的苛求。
基于springboot的共享单车用户的大数据数据分析项目.zip
04-28
基于springboot的共享单车用户的大数据数据分析项目.zip（基于springboot、echarts、百度地图api、Hadoop、hive等技术） 大学生课程设计 基于springboot的课程设计 自己大二写的课程设计
使用Echatrts+Flask实现新能源车辆数据可视化及学习Hadoop的学习心得
TSKxxx的博客
06-29 680
基于Flask+Echarts+Mysql制作分析新能源车辆数据可视化这是一个基本的MySQL、Flask和ECharts结合的图表绘制过程。学习Hadoop是一个令人兴奋和富有挑战性的过程。深入理解分布式计算原理：Hadoop是一个分布式计算框架，学习Hadoop需要深入理解分布式计算的基本原理和概念，如数据分片、数据复制、容错处理等。这对于充分发挥Hadoop的能力至关重要。掌握Hadoop核心组件。
记录自己做网约车大数据综合项目——数据分析Hive第2关：统计撤销订单中撤销理由最多的前10种理由
weixin_64347217的博客
10-14 478
在hive中创建cancelreason表格，并从cancelorder中搜索撤销理由最多的前10种插入到cancelreason表中。最后导入数据这里，出现了问题，一直导入不成功，报错说是路径的问题，有人可以解决吗？复制命令行打开mysql。
共享单车--数据分析
eerywh的博客
03-01 2214
共享单车EDA与模型选择 import pandas as pd import numpy as np from matplotlib import pyplot as plt import seaborn as sns from datetime import datetime import os import warnings warnings.filterwarnings(action = 'ignore') Kaggle-competition-bike-sharing-demand EDA
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇
涛哥大数据小屋
02-06 8005
目录 一、项目整体背景        1、数据仓库        2、用户画像系统        3、推荐系统 二、项目整体架构        1、预处理        2、ODS层的表  ...
数据架构师学习+爬下6万共享单车数据并进行分析
洋葱专栏-有灵魂的程序员
02-02 2796
1、从小白到大数据架构师的学习历程 https://mp.weixin.qq.com/s/pw1EqLXTzrc86x9odTXKkQ 大数据处理技术怎么学习呢？首先我们要学习Python语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。 Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会
Byte学堂：共享单车数据处理原理及分析方法
Byte_School的博客
02-04 2958
        公共交通工具的“最后一公里”是城市居民出行采用公共交通出行的主要障碍，也是建设绿色城市、低碳城市过程中面临的主要挑战。         共享单车（自行车）企业通过在校园、地铁站点、公交站点、居民区、商业区、公共服务区等提供服务，完成交通行业最后一块“拼图”，是一种新型绿色环保共享经济。    &nb
hadoop+hive+hbase的大数据行业应用-交通轨迹分析
qq_42135426的博客
12-23 1306
hadoop+hive+hbase的大数据行业应用-交通轨迹分析
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值