hadoop中国电动汽车市场分析与可视化-计算机毕业设计源码40244

科技进步的飞速发展引起人们日常生活的巨大变化，电子信息技术的飞速发展使得电子信息技术的各个领域的应用水平得到普及和应用。信息时代的到来已成为不可阻挡的时尚潮流，人类发展的历史正进入一个新时代。在现实运用中，应用软件的工作规则和开发步骤，采用网络爬虫技术和Hadoop框架建设中国电动汽车市场分析与可视化系统。

本论文基于网络爬虫技术，对中国电动汽车市场进行了全面的分析与可视化研究。首先，利用网络爬虫技术，从各大电动汽车相关网站和社交媒体平台获得了大量的数据，包括销售数据、用户评价、政府政策等。其次，通过数据清洗和处理，构建了一个全面的电动汽车市场数据集。然后，通过可视化技术，将这些数据以直观、易理解的形式展现出来，包括柱状图、折线图、地图等。通过对数据的可视化分析，我们能够清楚地看到电动汽车市场的整体发展趋势、销售热点和市场特点。此外，本论文还对电动汽车市场中的发展动力、市场竞争格局和消费者需求进行了深入分析。通过对相关数据和市场情况的综合研究，我们得出了一些有价值的结论和建议，为电动汽车行业的发展提供了参考和支持。

综上所述，本论文通过网络爬虫技术和数据可视化的应用，为深入了解中国电动汽车市场提供了一种新的方法和思路。

关键词：网络爬虫；Hadoop；中国电动汽车市场分析与可视化；MySQL

Abstract

The rapid development of technological progress has caused tremendous changes in people's daily lives, and the rapid development of electronic information technology has popularized and applied the application level of electronic information technology in various fields. The arrival of the information age has become an unstoppable fashion trend, and the history of human development is entering a new era. In practical applications, the working rules and development steps of application software are used to construct a Chinese electric vehicle market analysis and visualization system using web crawler technology and Hadoop framework.

This paper conducts a comprehensive analysis and visualization research on the Chinese electric vehicle market based on web crawler technology. Firstly, utilizing web crawler technology, a large amount of data was obtained from various electric vehicle related websites and social media platforms, including sales data, user reviews, government policies, etc. Secondly, a comprehensive dataset of the electric vehicle market was constructed through data cleaning and processing. Then, through visualization techniques, these data are presented in an intuitive and easily understandable form, including bar charts, line charts, maps, etc. Through visual analysis of data, we can clearly see the overall development trend, sales hotspots, and market characteristics of the electric vehicle market. In addition, this paper also conducts an in-depth analysis of the development momentum, market competition pattern, and consumer demand in the electric vehicle market. Through comprehensive research on relevant data and market conditions, we have drawn some valuable conclusions and suggestions, providing reference and support for the development of the electric vehicle industry.

In summary, this paper provides a new method and approach for a deeper understanding of the Chinese electric vehicle market through the application of web crawler technology and data visualization.

Keywords:Web crawlers; Hadoop; Analysis and visualization of the Chinese electric vehicle market; MySQL

1 绪论

1.1 选题背景与意义

近年来，电动汽车作为一种新兴的交通工具和能源解决方案，受到了全球各国政府和企业的广泛关注和投资。中国作为全球最大的汽车消费市场和二氧化碳排放量最高的国家之一，也将电动汽车作为解决能源和环境问题的重要发展方向。然而，电动汽车市场发展面临着诸多挑战和问题，例如充电设施不足、电池技术进步缓慢等。因此，对中国电动汽车市场进行深入分析和研究具有重要的现实意义和理论价值。

通过对中国电动汽车市场的分析，可以了解市场现状和存在的问题，为政府制定电动汽车政策提供科学合理的建议，促进电动汽车市场的良性发展。本系统还可以为企业制定电动汽车产业战略提供支持。通过分析中国电动汽车市场的竞争态势和消费者需求，可以帮助企业把握市场机遇，制定合适的电动汽车产业战略，提高竞争力和市场占有率。通过对中国电动汽车市场数据的可视化展示，可以让消费者直观了解电动汽车的销售情况、价格变动等信息，提供决策参考，增强消费者对电动汽车的购买意愿。通过收集和分析中国电动汽车市场的大量数据，可以为学术界开展相关研究提供基础数据支持，促进学术研究的深入发展。

综上所述，通过对中国电动汽车市场的分析与可视化，可以为政府、企业和消费者提供科学合理的决策和参考，推动电动汽车市场的发展，并对学术界开展相关研究提供数据。

1.2研究现状

近年来，随着环境保护意识的增强以及能源替代技术的不断发展，电动汽车作为一种清洁、环保的交通工具逐渐受到人们的青睐。特别是在中国这样的汽车市场龙头，电动汽车的发展势头迅猛，成为汽车产业的一个热点。

中国电动汽车市场的快速增长得益于政府的支持政策和产业发展导向，例如国家推动新能源汽车发展的相关政策、购车补贴、充电基础设施建设等措施，为电动汽车市场的繁荣提供了有力支持。

除政策推动外，技术创新也是电动汽车市场蓬勃发展的重要推动力。随着电池技术、充电技术、动力控制技术等的不断进步，电动汽车的续航里程、充电速度和安全性都得到了明显提升。这些技术进步为电动汽车的普及和市场化奠定了基础。

另外，消费者对于环保和节能的需求也促使了电动汽车市场的增长。越来越多的消费者开始关注汽车尾气排放对环境的影响，并选择购买电动汽车作为环保的生活方式。

然而，虽然中国电动汽车市场发展前景看好，但也面临一些挑战，如充电基础设施不完善、续航里程仍有待提高、电池成本高昂等问题。因此，对中国电动汽车市场进行分析和研究，了解市场现状、趋势和潜在机遇，对于制定企业战略、政府政策调整和消费者决策都具有重要意义。

网络爬虫技术作为一种能够自动抓取互联网上大量信息的技术，可以帮助研究者收集各个网站上关于电动汽车市场的相关数据，包括销售量、市场份额、消费者喜好等信息，为中国电动汽车市场的分析提供了丰富的数据基础。

本论文旨在通过对中国电动汽车市场的分析，探讨其发展现状、市场潜力，以及可能的发展方向，为相关研究和决策提供参考。同时，结合可视化技术，将数据图表、地图等形式转化为直观的图像，有助于更好地展示和理解电动汽车市场的相关信息。

1.3研究内容

本研究旨在利用网络爬虫技术，对中国电动汽车市场进行深入分析和可视化，为相关产业决策提供数据支持。通过探究中国电动汽车市场的发展现状和趋势，包括销售量、市场份额、消费群体等信息；分析中国各个省市及不同车型在电动汽车市场的表现和竞争情况；同时通过网络爬虫技术挖掘互联网上关于电动汽车的用户评论和新闻报道，分析消费者偏好和舆情走向。

具体研究内容包括以下几个方面

（1）对中国电动汽车市场的整体情况进行梳理和分析，包括行业规模、销售增长率、主要品牌等；

（2）基于网络爬虫技术抓取各大电动汽车销售平台的数据，分析不同品牌、车型的销售情况和价格水平；

（3）利用数据可视化技术，制作汽车信息统计、汽车数据统计、数据分析统计等图表，直观展示分析结果；

（4）在收集用户评论和新闻报道的基础上，运用大数据处理技术，挖掘消费者意见和舆情信息，为品牌决策和营销提供参考。

1.4论文结构与章节安排

本文共分为六章，章节内容安排如下：

第一章为引言，此章节对所设计和实现的系统的背景和状况以及意义进行详细的论述以及说明，同时进行了论文整体框架的结构的简要介绍。

第二章为系统需求分析，章节所做的主要的工作是对系统进行了技术、经济和操作方面可行性的分析；对系统实行了总体功能的需求、用例分析。

第三章为系统的设计，主要是对系统的功能结构进行设计，并对系统数据库的概念结构以及物理结构的设计进行了分析。

第四章就是对系统的实现，根据系统功能的划分，分别的对系统所需要实现的前台客户功能和后台管理员功能进行了分析和说明。

第五章：系统测试。主要对系统的部分界面进行测试并对主要功能进行测试

第六章：总结。

2 中国电动汽车市场分析与可视化系统系统分析

系统需求分析是系统开发的一个关键环节，它在系统的设计和实现上起到了一个承上启下的位置。系统需求分析是对所需要做的系统进行一个需求的挖掘，如果分析的准确可以精准的解决现实中碰到的问题。如果分析不到位会影响后期系统的实现。一个系统的优秀程度需求分析也是占据了非常大的比例，如果需求分析不到位，后面的系统设计要实现就是一个偏离导航的设计。

2.1 可行性分析

系统可行行分析是对系统对系统可行性进行一个探讨。在探讨系统的可行性上我们主要从技术上的可行性和经济上的可行性以及法律层面的可行性上进行分析，如果三个层面度通过，我们则认为系统是比较可行的。

2.1.1 技术可行性分析

Hadoop 是一种常用的Java大数据的开发框架，能够实现分层架构，提高开发效率和代码复用性。中国电动汽车市场分析与可视化系统在数据的存储上使用的MySQL数据库，在系统开发中使用了Java、HTML、Tomcat这些开发工具的使用，能够给我们的编写工作带来许多的便利。结合Hadoop和Java技术，可以快速搭建一个功能强大、性能稳定的中国电动汽车市场分析与可视化系统。因此，从技术层面分析是可行的。

2.1.2 经济可行性分析

在开发中国电动汽车市场分析与可视化系统并不需要投入太多，开发工具、服务器、数据库等，都可以通过网络搜索、下载、安装，只需要一台普通的计算机就可以完成操作，而且在系统功能规划上通过走访调查目前用户对中国电动汽车市场分析与可视化系统的需求，了解它们对系统具体实现的功能需求，然后进行设计开发，不存在任何开销，因此系统的开发在经济方面是可行的。

2.1.3 操作可行性分析

本系统实现功能的操作很简单，普通电脑的常见配置就可以运行本软件，并且只要粗通电脑使用的基本常识就可以流畅的使用本软件。电脑具备连接互联网的能力，并且可以正常访问系统，并不需要操作者有什么高超的能力，只需了解业务流程，并且按照专业知识进行正确操作即可，所以高校教材订购管理系统具备操作可行性。

2.2 系统功能分析

2.2.1 功能性分析

中国电动汽车市场分析与可视化系统我划分为了普通用户模块和管理员模块这两大部分。

普通用户模块：

（1）用户注册登录：游客可以随时进入到系统中，对系统中的信息浏览，但是想要实现点赞评论等操作，就必须有这个系统的账号，如果没有账号的话，可以注册普通用户进行相关的操作，同时用户还可以通过“我的”这以按钮对个人信息以及操作的信息进行管控。

（2）查看中国电动汽车市场分析与可视化系统的首页信息：中国电动汽车市场分析与可视化系统的首页信息包含了首页、通知公告、汽车信息、充电站点、汽车活动、汽车数据、数据分析等。

（3）通知公告：当用户点击“通知公告”这一菜单按钮，会显示管理员在后台发布的所有的通知公告，可以查看详情。

（4）汽车信息：用户可以查看汽车信息，在查询到自己想要了解的汽车信息的时候，可以进入查看详细的介绍，包括汽车名称、汽车品牌、汽车价格、汽车配置等信息，在汽车信息详情这个界面，同时支持用户对汽车信息进行收藏、点赞以及评论的功能。

（5）充电站点：用户可以查看充电站点信息，在查询到自己想要了解的充电站点信息的时候，可以进入查看详细的介绍，包括站点名称、充电费用、站点位置、充电桩数量、站点简介等信息，在汽车信息详情这个界面，同时支持用户对充电站点信息进行收藏、点赞以及评论的功能。

（6）汽车活动：用户可以查看汽车活动信息，在查询到自己想要了解的汽车活动的时候，可以进入查看详细的介绍，包括活动名称、活动类型、活动地点、活动时间、活动内容等信息，在汽车信息详情这个界面，同时支持用户对汽车活动进行收藏、点赞以及评论的功能。

（7）汽车数据：用户可以查看汽车数据信息，在查询到自己想要了解的汽车数据的时候，可以进入查看详细的介绍，包括车名、用户评分、级别、续航里程、电动机、充电时间、官方指导价等信息。

（8）数据分析：用户可以查看数据分析信息，在查询到自己想要了解的数据分析的时候，可以进入查看详细的介绍，包括汽车名称、售卖地区、汽车品牌、汽车销量、增长率、平均售价等信息。

（9）我的账户：在前台点击“我的”下面的“我的账户”可以对个人资料+密码修改进行管控。

（10）个人中心：普通用户在前台点击“个人中心”可以对个人首页和自己收藏的信息进行管理。

管理员管理模块：

（1）登录：管理员在后台可以输入用户名+密码进行登录，管理员的用户名和密码是在数据库中直接设定好的。

（2）系统用户：管理员可以对中国电动汽车市场分析与可视化系统中的管理员以及前台注册的普通用户进行增删改查。

（3）汽车信息管理：管理员点击“汽车信息管理”会显示出所有的汽车信息，如果想要添加新的汽车信息，点击“添加”按钮，输入汽车名称、汽车品牌、汽车价格、汽车配置等信息，点击“提交”按钮就可以添加了，同时可以选择某一条汽车信息，点击“删除”进行删除，也可以对用户提交的汽车评论的信息进行管控。

（4）充电站点管理：管理员点击“充电站点管理”会显示出所有的充电站点信息，可以点击查看详情，也可以对用户提交的充电站点评论的信息进行管控。

（5）汽车活动管理：管理员点击“汽车活动管理”会显示出所有的汽车活动信息，可以点击查看详情，也可以对用户提交的汽车活动评论的信息进行管控。

（6）汽车数据管理：管理员执行管理汽车数据列表，可以对汽车数据进行查询、添加、重置或删除。如果需要添加数据，可以在后台爬取新的汽车数据，通过下载导入文档至后台，按文档格式保存汽车数据，再导入文档即可更新汽车数据，也可以单个添加汽车数据。

（7）数据分析管理：管理员执行管理数据分析列表，可以对数据分析信息进行查询、添加、重置或删除。

（8）地区名称管理：点击“地区名称管理”系统会把中国电动汽车市场分析与可视化系统当中所有的地区名称信息都显示出来，管理员可进行添加地区名称描述管理，并可进行查询、重置或删除等相应操作。

（9）汽车品牌管理：点击“汽车品牌管理”系统会把中国电动汽车市场分析与可视化系统当中所有的汽车品牌信息都显示出来，管理员可进行添加汽车品牌信息，并可进行查询、重置或删除等相应操作。

（10）系统管理：管理员点击“系统管理”菜单可以对首页展示的轮播图进行管理。

（11）通知公告管理：管理员点击“通知公告管理”菜单可以查看到系统中的所有通知公告信息，对已经存在的通知公告，管理员可以修改，也可以添加新的通知公告或者删除通知公告。

2.2.2 非功能性分析

中国电动汽车市场分析与可视化系统的非功能性需求比如中国电动汽车市场分析与可视化系统的安全性怎么样，可靠性怎么样，性能怎么样，可拓展性怎么样等。具体可以表示在如下2-1表格中：

表2-1中国电动汽车市场分析与可视化系统非功能需求表

安全性	主要指中国电动汽车市场分析与可视化系统数据库的安装，数据库的使用和密码的设定必须合乎规范。
可靠性	可靠性是指中国电动汽车市场分析与可视化系统能够按照用户提交的指示进行操作，经过测试，可靠性90%以上。
性能	性能是影响中国电动汽车市场分析与可视化系统占据市场的必要条件，所以性能最好要佳才好。
可扩展性	比如数据库预留多个属性，比如接口的使用等确保了系统的非功能性需求。
易用性	用户只要跟着中国电动汽车市场分析与可视化系统的页面展示内容进行操作，就可以了。
可维护性	中国电动汽车市场分析与可视化系统开发的可维护性是非常重要的，经过测试，可维护性没有问题

2.3 系统用例分析

中国电动汽车市场分析与可视化系统的完整UML用例图分别是图2-1和图2-2。

图2-1就是普通用户角色的用例展示。

图2-1 系统普通用户角色用例图

图2-2就是管理员角色的用例展示。

图2-2 管理员角色用例图

2.4 系统业务流程分析

管理员权限下的工作流程主要为：管理员通过系统界面提供登录按钮并点击，转入管理员登录界面，并在界面上填入相应的管理员账户和管理员密码，进入管理员权限下的后台系统，并且在系统左侧导航条设置了相应的操作功能。

用户权限下的工作流程主要为：用户通过系统提供的注册功能，进行身份验证并注册，而后在登录界面进行个人身份验证，并且进入用户的个人后台界面，并进行相应的操作。

开发中国电动汽车市场分析与可视化系统最主要的一个目的就是实现用户在线浏览汽车信息的便捷，系统的业务流程图如下所示。

图2-3系统业务流程图

2.5本章小结

本章主要通过对中国电动汽车市场分析与可视化系统的可行性分析、功能需求分析、系统用例分析、系统流程分析，确定整个中国电动汽车市场分析与可视化系统要实现的功能。同时也为中国电动汽车市场分析与可视化系统的代码实现和测试提供了标准。

3 中国电动汽车市场分析与可视化系统总体设计

本章主要讨论的内容包括中国电动汽车市场分析与可视化系统的功能模块设计、数据库系统设计。

3.1 系统功能模块设计

3.1.1整体功能模块设计

在上一章节中主要对系统的功能性需求和非功能性需求进行分析，并且根据需求分析了本中国电动汽车市场分析与可视化系统中的用例。那么接下来就要开始对中国电动汽车市场分析与可视化系统的架构、主要功能和数据库开始进行设计。中国电动汽车市场分析与可视化系统根据前面章节的需求分析得出，其总体设计模块图如图3-1所示。

图3-1 系统功能模块图

3.1.2用户模块设计

本系统的用户包括管理员和用户两种用户模块的功能基本是相同的，用户比管理员多了一个注册功能，所以以用户模块的结构图为例进行分析，用户模块结构图为例进行分析，如下图：

图3-2用户模块结构图

3.1.3 评论管理模块设计

中国电动汽车市场分析与可视化系统是一个交流性质的公开平台，用户在平台上提交评论，增加用户之间的互动性。但是同时也为了更好的规范评论的内容，给予管理员删除不合适的评论的功能，所以需要专门设计一个评论管理模块，具体的结构图如下：

图3-3评论管理模块结构图

3.1.4汽车信息管理模块设计

中国电动汽车市场分析与可视化系统是中需要存储不少汽车信息，其模块功能结构，具体的结构图如下：

图3-4汽车信息模块结构图

3.1.5汽车数据管理模块设计

中国电动汽车市场分析与可视化系统是中需要存储不少汽车数据，其模块功能结构，具体的结构图如下：

图3-5汽车数据模块结构图

3.2 数据库设计

数据库设计一般包括需求分析、概念模型设计、数据库表建立三大过程，其中需求分析前面章节已经阐述，概念模型设计有概念模型和逻辑结构设计两部分。

3.2.1 数据库概念结构设计

下面是整个中国电动汽车市场分析与可视化系统中主要的数据库表总E-R实体关系图。

图3-6 系统总E-R关系图

3.2.2 数据库逻辑结构设计

通过上一小节中中国电动汽车市场分析与可视化系统中总E-R关系图上得出一共需要创建很多个数据表。在此我主要罗列几个主要的数据库表结构设计。

表access_token (登陆访问时长)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	token_id	int	10	0	N	Y		临时访问牌ID
2	token	varchar	64	0	Y	N		临时访问牌
3	info	text	65535	0	Y	N
4	maxage	int	10	0	N	N	2	最大寿命：默认2小时
5	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
6	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
7	user_id	int	10	0	N	N	0	用户编号:

表auth (用户权限管理)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	auth_id	int	10	0	N	Y		授权ID：
2	user_group	varchar	64	0	Y	N		用户组：
3	mod_name	varchar	64	0	Y	N		模块名：
4	table_name	varchar	64	0	Y	N		表名：
5	page_title	varchar	255	0	Y	N		页面标题：
6	path	varchar	255	0	Y	N		路由路径：
7	position	varchar	32	0	Y	N		位置：
8	mode	varchar	32	0	N	N	_blank	跳转方式：
9	add	tinyint	3	0	N	N	1	是否可增加：
10	del	tinyint	3	0	N	N	1	是否可删除：
11	set	tinyint	3	0	N	N	1	是否可修改：
12	get	tinyint	3	0	N	N	1	是否可查看：
13	field_add	text	65535	0	Y	N		添加字段：
14	field_set	text	65535	0	Y	N		修改字段：
15	field_get	text	65535	0	Y	N		查询字段：
16	table_nav_name	varchar	500	0	Y	N		跨表导航名称：
17	table_nav	varchar	500	0	Y	N		跨表导航：
18	option	text	65535	0	Y	N		配置：
19	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
20	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表automobile_brand (汽车品牌)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	automobile_brand_id	int	10	0	N	Y		汽车品牌ID
2	automobile_brand	varchar	64	0	Y	N		汽车品牌
3	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
4	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表automotive_activities (汽车活动)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	automotive_activities_id	int	10	0	N	Y		汽车活动ID
2	activity_name	varchar	64	0	Y	N		活动名称
3	activity_type	varchar	64	0	Y	N		活动类型
4	activity_images	varchar	255	0	Y	N		活动图片
5	event_location	varchar	64	0	Y	N		活动地点
6	activity_time	datetime	19	0	Y	N		活动时间
7	activity_content	text	65535	0	Y	N		活动内容
8	hits	int	10	0	N	N	0	点击数
9	praise_len	int	10	0	N	N	0	点赞数
10	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
11	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表automotive_data (汽车数据)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	automotive_data_id	int	10	0	N	Y		汽车数据ID
2	car_name	varchar	64	0	Y	N		车名
3	user_rating	varchar	64	0	Y	N		用户评分
4	level	varchar	64	0	Y	N		级别
5	range	varchar	64	0	Y	N		续航里程
6	motor	varchar	64	0	Y	N		电动机
7	charging_time	varchar	64	0	Y	N		充电时间
8	official_guide_price	varchar	64	0	Y	N		官方指导价
9	hits	int	10	0	N	N	0	点击数
10	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
11	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表automotive_information (汽车信息)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	automotive_information_id	int	10	0	N	Y		汽车信息ID
2	car_name	varchar	64	0	Y	N		汽车名称
3	automobile_brand	varchar	64	0	Y	N		汽车品牌
4	car_pictures	varchar	255	0	Y	N		汽车图片
5	car_prices	int	10	0	Y	N	0	汽车价格
6	car_configuration	longtext	2147483647	0	Y	N		汽车配置
7	hits	int	10	0	N	N	0	点击数
8	praise_len	int	10	0	N	N	0	点赞数
9	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
10	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表charging_station (充电站点)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	charging_station_id	int	10	0	N	Y		充电站点ID
2	site_name	varchar	64	0	Y	N		站点名称
3	site_images	varchar	255	0	Y	N		站点图片
4	charging_fees	int	10	0	Y	N	0	充电费用
5	site_location	varchar	64	0	Y	N		站点位置
6	number_of_charging_stations	int	10	0	Y	N	0	充电桩数量
7	site_introduction	text	65535	0	Y	N		站点简介
8	hits	int	10	0	N	N	0	点击数
9	praise_len	int	10	0	N	N	0	点赞数
10	location_address	varchar	64	0	Y	N		当前位置
11	location_lng	varchar	64	0	Y	N		当前位置经度
12	location_lat	varchar	64	0	Y	N		当前位置纬度
13	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
14	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表collect (收藏)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	collect_id	int	10	0	N	Y		收藏ID：
2	user_id	int	10	0	N	N	0	收藏人ID：
3	source_table	varchar	255	0	Y	N		来源表：
4	source_field	varchar	255	0	Y	N		来源字段：
5	source_id	int	10	0	N	N	0	来源ID：
6	title	varchar	255	0	Y	N		标题：
7	img	varchar	255	0	Y	N		封面：
8	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
9	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表comment (评论)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	comment_id	int	10	0	N	Y		评论ID：
2	user_id	int	10	0	N	N	0	评论人ID：
3	reply_to_id	int	10	0	N	N	0	回复评论ID：空为0
4	content	longtext	2147483647	0	Y	N		内容：
5	nickname	varchar	255	0	Y	N		昵称：
6	avatar	varchar	255	0	Y	N		头像地址：[0,255]
7	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
8	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
9	source_table	varchar	255	0	Y	N		来源表：
10	source_field	varchar	255	0	Y	N		来源字段：
11	source_id	int	10	0	N	N	0	来源ID：

表data_analysis (数据分析)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	data_analysis_id	int	10	0	N	Y		数据分析ID
2	car_name	varchar	64	0	Y	N		汽车名称
3	car_pictures	varchar	255	0	Y	N		汽车图片
4	sales_region	varchar	64	0	Y	N		售卖地区
5	automobile_brand	varchar	64	0	Y	N		汽车品牌
6	car_sales	int	10	0	Y	N	0	汽车销量
7	growth_rate	varchar	64	0	Y	N		增长率
8	average_selling_price	int	10	0	Y	N	0	平均售价
9	hits	int	10	0	N	N	0	点击数
10	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
11	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表hits (用户点击)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	hits_id	int	10	0	N	Y		点赞ID：
2	user_id	int	10	0	N	N	0	点赞人：
3	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
4	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
5	source_table	varchar	255	0	Y	N		来源表：
6	source_field	varchar	255	0	Y	N		来源字段：
7	source_id	int	10	0	N	N	0	来源ID：

表notice (公告)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	notice_id	mediumint	8	0	N	Y		公告id：
2	title	varchar	125	0	N	N		标题：
3	content	longtext	2147483647	0	Y	N		正文：
4	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
5	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表praise (点赞)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	praise_id	int	10	0	N	Y		点赞ID：
2	user_id	int	10	0	N	N	0	点赞人：
3	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
4	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：
5	source_table	varchar	255	0	Y	N		来源表：
6	source_field	varchar	255	0	Y	N		来源字段：
7	source_id	int	10	0	N	N	0	来源ID：
8	status	bit	1	0	N	N	1	点赞状态:1为点赞，0已取消

表region_name (地区名称)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	region_name_id	int	10	0	N	Y		地区名称ID
2	region_name	varchar	64	0	Y	N		地区名称
3	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
4	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表regular_users (普通用户)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	regular_users_id	int	10	0	N	Y		普通用户ID
2	user_name	varchar	64	0	Y	N		用户姓名
3	user_gender	varchar	64	0	Y	N		用户性别
4	contact_information	varchar	64	0	Y	N		联系方式
5	examine_state	varchar	16	0	N	N	已通过	审核状态
6	user_id	int	10	0	N	N	0	用户ID
7	create_time	datetime	19	0	N	N	CURRENT_TIMESTAMP	创建时间
8	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间

表slides (轮播图)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	slides_id	int	10	0	N	Y		轮播图ID：
2	title	varchar	64	0	Y	N		标题：
3	content	varchar	255	0	Y	N		内容：
4	url	varchar	255	0	Y	N		链接：
5	img	varchar	255	0	Y	N		轮播图：
6	hits	int	10	0	N	N	0	点击量：
7	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
8	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

表upload (文件上传)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	upload_id	int	10	0	N	Y		上传ID
2	name	varchar	64	0	Y	N		文件名
3	path	varchar	255	0	Y	N		访问路径
4	file	varchar	255	0	Y	N		文件路径
5	display	varchar	255	0	Y	N		显示顺序
6	father_id	int	10	0	Y	N	0	父级ID
7	dir	varchar	255	0	Y	N		文件夹
8	type	varchar	32	0	Y	N		文件类型

表user (用户账户：用于保存用户登录信息)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	user_id	mediumint	8	0	N	Y		用户ID：[0,8388607]用户获取其他与用户相关的数据
2	state	smallint	5	0	N	N	1	账户状态：[0,10](1可用\|2异常\|3已冻结\|4已注销)
3	user_group	varchar	32	0	Y	N		所在用户组：[0,32767]决定用户身份和权限
4	login_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	上次登录时间：
5	phone	varchar	11	0	Y	N		手机号码：[0,11]用户的手机号码，用于找回密码时或登录时
6	phone_state	smallint	5	0	N	N	0	手机认证：[0,1](0未认证\|1审核中\|2已认证)
7	username	varchar	16	0	N	N		用户名：[0,16]用户登录时所用的账户名称
8	nickname	varchar	16	0	Y	N		昵称：[0,16]
9	password	varchar	64	0	N	N		密码：[0,32]用户登录所需的密码，由6-16位数字或英文组成
10	email	varchar	64	0	Y	N		邮箱：[0,64]用户的邮箱，用于找回密码时或登录时
11	email_state	smallint	5	0	N	N	0	邮箱认证：[0,1](0未认证\|1审核中\|2已认证)
12	avatar	varchar	255	0	Y	N		头像地址：[0,255]
13	open_id	varchar	255	0	Y	N		针对获取用户信息字段
14	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
15	vip_level	varchar	255	0	Y	N		会员等级
16	vip_discount	double	11	2	Y	N	0.00	会员折扣

表user_group (用户组：用于用户前端身份和鉴权)

编号	名称	数据类型	长度	小数位	允许空值	主键	默认值	说明
1	group_id	mediumint	8	0	N	Y		用户组ID：[0,8388607]
2	display	smallint	5	0	N	N	100	显示顺序：[0,1000]
3	name	varchar	16	0	N	N		名称：[0,16]
4	description	varchar	255	0	Y	N		描述：[0,255]描述该用户组的特点或权限范围
5	source_table	varchar	255	0	Y	N		来源表：
6	source_field	varchar	255	0	Y	N		来源字段：
7	source_id	int	10	0	N	N	0	来源ID：
8	register	smallint	5	0	Y	N	0	注册位置:
9	create_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	创建时间：
10	update_time	timestamp	19	0	N	N	CURRENT_TIMESTAMP	更新时间：

3.3本章小结

整个中国电动汽车市场分析与可视化系统的需求分析主要对系统总体架构以及功能模块的设计，通过建立E-R模型和数据库逻辑系统设计完成了数据库系统设计。

4 中国电动汽车市场分析与可视化系统详细设计与实现

中国电动汽车市场分析与可视化系统的详细设计与实现主要是根据前面的中国电动汽车市场分析与可视化系统的需求分析和中国电动汽车市场分析与可视化系统的总体设计来设计页面并实现业务逻辑。主要从中国电动汽车市场分析与可视化系统界面实现、业务逻辑实现这两部分进行介绍。

4.1前台用户功能模块

4.1.1 前台首页界面

当进入中国电动汽车市场分析与可视化系统的时候，系统以上中下的布局进行展示，首先映入眼帘的是系统的导航栏，下面是轮播图，再往下是汽车数据，其主界面展示如下图4-1所示。

图4-1 前台首页界面图

4.1.2 用户注册界面

中国电动汽车市场分析与可视化系统的游客和普通用户时可以进行注册登录，当用户右上角“注册”按钮的时候，当填写上自己的账号+密码+确认密码+昵称+邮箱+手机号等后再点击“注册”按钮后将会先验证输入的有没有空数据，再次验证密码和确认密码是否是一样的，最后验证输入的账户名和数据库表中已经注册的账户名是否重复，只有都验证没问题后即可用户注册成功。其用用户注册界面展示如下图4-2所示。

图4-2注册界面图

4.1.3 用户登录界面

中国电动汽车市场分析与可视化系统中的前台上注册后的用户是可以通过自己的账户名和密码进行登录的，当普通用户输入完整的自己的账户名和密码信息并点击“登录”按钮后，将会首先验证输入的有没有空数据，再次验证输入的账户名+密码和数据库中当前保存的用户信息是否一致，只有在一致后将会登录成功并自动跳转到中国电动汽车市场分析与可视化系统的首页中；否则将会提示相应错误信息，用户登录界面如下图4-3所示。

图4-3用户登录界面图

4.1.4汽车信息界面

当用户点击“汽车信息”后就可以看到所有的汽车信息，可以输入汽车名称或汽车品牌进行搜索查询，选择你想要了解的汽车信息后将会进入该汽车信息的详情界面，可以了解到该汽车信息的汽车名称、汽车品牌、汽车价格、汽车配置等，同时可以点击下方的“点赞”、“收藏”进行相关操作，也可以在下方评论区输入想要评论的内容进行评论，汽车信息详情展示页面如图4-4所示。

图4-4 汽车信息详情界面图

4.1.5充电站点界面

当用户点击“充电站点”后就可以看到所有的充电站点信息，选择你想要了解的充电站点后将会进入该充电站点的详情界面，可以了解到该汽车信息的站点名称、充电费用、站点位置、充电桩数量、站点简介等，同时可以点击下方的“点赞”、“收藏”进行相关操作，也可以在下方评论区输入想要评论的内容进行评论，充电站点详情展示页面如图4-5所示。

图4-5 充电站点详情界面图

4.1.6汽车活动界面

当访客点击中国电动汽车市场分析与可视化系统中导航栏上的“汽车活动”后将会进入到该“汽车活动”列表的界面，然后选择想要看的汽车活动，点击进入到详细界面，在详细界面可以点赞、收藏、评论等操作。汽车活动界面如下图4-6所示。

图4-6汽车活动界面图

4.1.7汽车数据界面

当用户点击“汽车数据”后就可以看到所有的汽车数据信息，选择你想要了解的汽车数据后将会进入该汽车数据的详情界面，可以了解到该汽车数据的车名、用户评分、级别、续航里程、电动机、充电时间、官方指导价等。汽车数据界面如下图4-7所示。

图4-7汽车数据界面图

4.1.8数据分析界面

当用户点击“数据分析”后就可以看到所有的数据分析信息，选择你想要了解的数据分析后将会进入该数据分析的详情界面，可以了解到该数据分析的汽车名称、售卖地区、汽车品牌、汽车销量、增长率、平均售价等。数据分析界面如下图4-8所示。

图4-8数据分析界面图

4.1.9个人中心界面

前台普通用户点击右上角“个人中心”模块，可以查看和管理个人相关和收藏的信息。普通用户个人中心界面如下图4-9所示。

图4-9普通用户个人中心界面

4.2后台功能模块

4.2.1系统用户界面

中国电动汽车市场分析与可视化系统中的管理人员在“系统用户”这一菜单是中可以对注册的普通用户以及管理员进行管控。界面如下图4-10所示。

图4-10系统用户管理界面图

4.2.2汽车数据管理界面

管理员点击“汽车数据管理”会显示出已导入的所有汽车数据信息。在系统此页面管理员执行管理汽车数据列表，可以对汽车数据进行查询、添加、重置或删除。如果需要添加数据，可以通过下载导入文档至后台，按文档格式保存汽车数据，再导入文档即可更新汽车数据。汽车数据导入界面如下图4-11所示。

图4-11汽车数据导入界面图

4.2.3系统管理界面

管理人员在“系统管理”这一菜单下是可以对中国电动汽车市场分析与可视化系统内的轮播图进行添加修改的，其管理界面如下图4-12所示。

图4-12系统轮播图管理界面图

5系统测试

5.1 系统测试用例

系统测试包括：用户登录功能测试、汽车信息查看功能测试、充电站点添加、汽车数据搜索、密码修改，如表5-1、5-2、5-3、5-4、5-5所示：

用户登录功能测试：

表5-1 用户登录功能测试表

用例名称	用户登录系统
目的	测试用户通过正确的用户名和密码可否登录功能
前提	未登录的情况下
测试流程	1) 进入登录页面 2) 输入正确的用户名和密码
预期结果	用户名和密码正确的时候，跳转到登录成功界面，反之则显示错误信息，提示重新输入
实际结果	实际结果与预期结果一致

汽车信息查看功能测试：

表5-2 汽车信息查看功能测试表

用例名称	汽车信息查看
目的	测试汽车信息查看功能
前提	用户登录
测试流程	点击汽车信息列表
预期结果	可以查看到所有汽车信息
实际结果	实际结果与预期结果一致

添加充电站点界面测试：

表5-3 添加充电站点界面测试表

用例名称	添加充电站点测试用例
目的	测试充电站点添加功能
前提	管理员正常登录情况下
测试流程	1）点击充电站点管理，然后点击添加后并填写信息。 2）点击进行提交。
预期结果	提交以后，页面首页会显示新的充电站点
实际结果	实际结果与预期结果一致

汽车数据搜索功能测试：

表5-4汽车数据搜索功能测试表

用例名称	汽车数据搜索测试
目的	测试汽车数据搜索功能
前提	无
测试流程	1）在搜索框填入搜索关键字。 2）点击搜索按钮。
预期结果	页面显示包含有搜索关键字的汽车数据
实际结果	实际结果与预期结果一致

密码修改搜索功能测试：

表5-5 密码修改功能测试表

用例名称	密码修改测试用例
目的	测试管理员密码修改功能
前提	管理员用户正常登录情况下
测试流程	1）管理员密码修改并完成填写。 2）点击进行提交。
预期结果	使用新的密码可以登录
实际结果	实际结果与预期结果一致

5.2 系统测试结果

通过编写中国电动汽车市场分析与可视化系统的测试用例，已经检测完毕用户登录功能测试、汽车信息查看功能测试、充电站点添加、汽车数据搜索、密码修改功能测试，通过这5大模块为中国电动汽车市场分析与可视化系统的后期推广运营提供了强力的技术支撑。

结论

在开发本中国电动汽车市场分析与可视化系统之前我胸有成竹，觉得很简单，但在实际的开发中我发现了自身的很多问题，许多编程思想和方法都还没有掌握牢靠，比如对于网络爬虫技术和Hadoop框架的使用，通过开发这个中国电动汽车市场分析与可视化系统我成长了很多，懂得了做什么事情都要脚踏实地，不能眼高手低，在本次中国电动汽车市场分析与可视化系统的开发中我逐渐掌握逐渐熟悉的技术。

本次基于网络爬虫技术的中国电动汽车市场分析与可视化系统的开发中我还学会了很多，例如良好的编程思想和完善的规划思想。在着手编程之前需要罗列出程序框架的大概，脑海中构建出程序的主题框架。做好这一步我们才能胸有成竹的经行开发项目。当设计框架了熟于心之后，需要思考本次编程所需的主要知识点和技术点，并充分学习。如此一来项目的开发才能循序渐进、如丝般顺滑，长久以往就能养成良好的开发习惯。一个程序好不好还要看出的bug多不多，如果在项目完成前做好bug的查验与预防可能发生的事故才能保证程序的稳定长久性运行。如果项目在完工后出现各种问题自己，那么在进入社会后，不仅会给公司团队带来麻烦和增加不必要的工作，还会导致客户流失，公司对自己的评价下降。

在本次项目中我也暴露了诸多问题。对于Hadoop的编程知识有所欠缺，环境配置和算法上出现诸多问题，时常导致项目运行出错，或者目标的实现有问题。或者实现想法时算法未优化，使得代码冗长，程序运行不顺畅。

参考文献

[1]罗平,杨泽喆,张嘉昊,等.考虑多场景充电需求预测的电动汽车充电站规划[J/OL].高电压技术,1-20[2024-03-28].https://doi.org/10.13336/j.1003-6520.hve.20231438.

[2]王哲.以比亚迪为例分析我国新能源汽车关键技术及发展趋势[J].汽车维修技师,2024,(06):111.

[3]高攀.中国电动汽车轻量化水平发展趋势研究[J].内燃机与配件,2024,(06):140-142.DOI:10.19475/j.cnki.issn1674-957x.2024.06.013.

[4]施国良,张丽丽,张笑笑,等.基于专利数据的产业链视角下企业合作目标预测研究——以新能源汽车产业为例[J/OL].情报理论与实践,1-14[2024-03-28].http://kns.cnki.net/kcms/detail/11.1762.G3.20240311.1848.004.html.

[5]徐强.基于大数据技术的襄阳市新能源汽车行业发展的研究[J].湖北经济学院学报(人文社会科学版),2024,21(03):50-54.

[6]武子晔,唐柳杨,肖逸思.新能源车将逐渐占据主导地位伴生哪些挑战[N].第一财经日报,2024-03-04(A04).DOI:10.28207/n.cnki.ndycj.2024.000791.

[7]张迪俊.大数据视域下新能源汽车技术探析[J].汽车与新动力,2024,7(01):77-79.DOI:10.16776/j.cnki.1000-3797.2024.01.012.

[8]Dhanith J P ,Saeed K ,Rohith G , et al.Weakly supervised learning for an effective focused web crawler[J].Engineering Applications of Artificial Intelligence,2024,132107944-.

[9]宗赫.中国新能源汽车渐受海外欢迎[N].中国贸易报,2024-02-01(006).DOI:10.28113/n.cnki.ncmyb.2024.000134.

[10]申江卫,岩川,刘永刚,等.基于数据挖掘与大数据分析的电池故障诊断与异常检测[J/OL].电工技术学报,1-15[2024-03-28].https://doi.org/10.19595/j.cnki.1000-6753.tces.231983.

[11]Yan S ,Xu Y .Big Data Automobile Price Prediction Based on Elastic Network Regression Model[J].Financial Engineering and Risk Management,2023,6(11):

[12]Bonte D ,Rose C ,Bastiaensen T , et al.Urbanization impacts short‐ but not long‐distance natal dispersal in a common orb web spider[J].Oikos,2023,2023(12):

[13]鲍培东,宛楠,王婷婷,等.基于Python的新能源汽车数据爬取与数据可视化分析研究[J].轻工科技,2023,39(05):105-107.

[14]刘佳昌.北京地区电动汽车充电负荷调控潜力分析[D].北京交通大学,2023.DOI:10.26944/d.cnki.gbfju.2023.000040.

[15]张雅喆.电动汽车充电站智能选址方法研究[D].北京建筑大学,2023.DOI:10.26943/d.cnki.gbjzc.2023.000511.

[16]张超,王星星,韩桂楠.基于大数据的电动汽车动力电池充电预测分析[J].电子技术,2023,52(02):307-309.

[17]胡舒淋,蔡春花.基于大数据的新能源汽车健康状态评价技术[J].办公自动化,2023,28(03):15-19.

[18]周晴红.基于Hadoop的海量数据存储平台设计[J].无线互联科技,2022,19(17):69-72.

[19]覃良纯,班定东,张亮,等.汽车工业企业的Hadoop大数据平台设计[J].电子制作,2022,30(09):56-59.DOI:10.16589/j.cnki.cn11-3571/tn.2022.09.017.

[20]石方夏,高屹.Hadoop大数据技术应用分析[J].现代电子技术,2021,44(19):153-157.DOI:10.16652/j.issn.1004-373x.2021.19.031.

致谢

这篇文章的完成经历了多个日日夜夜的努力，终于在今天得以完成。这篇文章的创作过程实为不易，但在老师和同学的辛勤帮助下顺利渡过。让我在设计过程中举步维艰时，非常感谢我的导师不耐其烦的帮助我解决问题，给予了我许多指导意见。也感谢所有为我授业解惑的老师！

另外，本文的完成也参考借鉴了许多国内外在网络爬虫技术上的著作，如果没有著作原作的辛勤付出和科研成果，我也很难完成本论文。感谢在本论文中关联到的学者们！也感谢Google等公司，感谢他们强大的搜索引擎，让我的资料查阅省事简单。

感谢之余也还有几句话要说，虽大学学习四年，怎奈何本人才疏学浅，本文的完成已为尽力，但文中不免有些不当和错误之处，诚挚真切的请求各位老师对本文的批评改正，感谢百忙之中费心审阅我论文的老师。