爬取HTML文件解析成Excel，再将Excel导入Mysql数据库目录

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

大家好，我是程序员JM，最近发现了一个难题：在做一个Java Web项目时，需要给数据库构建大量的数据。如果人工操作这些数据的话，非常繁琐。相信很多小伙都会想，是否有更简单快捷的办法将这些数据自动导入数据库？其实，很多软件都是从一个小小的想法开始。下面我将围绕这个想法，开发一个能够实现将HTML网页信息爬取下来，通过数据分析解析后存入Excel，再导入Mysql数据库功能的GUI工具。这一期我将着重讲解我的开发思路并附上源码。

---

一、思路

二、项目结构

三、代码讲解

1.爬取网页（HTML）数据

备注：headers中的user-agent是伪装成浏览器发送请求

2、解析网页信息，将需要的信息存入excel

备注：利用BeautifulSoup库解析网页数据

备注：通过切片将数据写入excel

3、将解析后的excel文件导入Mysql数据库

备注：数据清洗，提取excel数据

备注：导入数据库

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了如何爬取HTML文件解析成Excel，再将Excel导入Mysql数据库