奇酷学院-数据采集及其可视化（一）

最新推荐文章于 2024-05-26 12:49:04 发布

来者不是客

最新推荐文章于 2024-05-26 12:49:04 发布

阅读量629

点赞数

分类专栏：综合项目

本文链接：https://blog.csdn.net/qq_43305922/article/details/93526727

版权

这篇博客介绍了作者在学院小学期项目中学习的数据采集和可视化过程。首先，讲述了如何调整Eclipse编码格式以匹配MySQL的UTF-8格式，确保数据处理无乱码。接着，以爬取起点中文网《完美世界》小说信息为例，解释了如何找到目标数据在网页中的位置，以及使用Jsoup进行数据抓取的步骤。最后，提到了项目结构的组织方式，包括创建不同功能的包，如entity、DBUtils、dao、util和服务包，以及如何导入和配置外部jar包。

摘要由CSDN通过智能技术生成

前言：

这个呢，是我们学院小学期时我选择的一个项目，大致讲的就是如何从网页上爬取数据，爬取下来之后先保存至本地的数据库中，之后根据自己的需要对相应的数据进行可视化操作，例如通过柱状图、折线图、扇形图等来直观地展示。下面我大概说一下我从中学到的东西。

由于我们这次操作涉及到和数据库的联系，这就牵连到不同的编码格式，我们这里用的数据库是 mysql ，而 mysql 中一般用的是 UTF-8 格式，所以我们在项目进行前，需要先对 eclipse 中的编码格式作一下更改，在 eclipse 的 windows 中的 Preferences 下修改三个部分，其分别如下：

当然，对 eclipse 环境的编码格式设置是基于需要连接数据库的编码格式保持一致（若是 GBK 等格式的也可以改为相应的编码格式），这为后期的操作提供很大的方便，因为在不同的编码格式下处理会产生乱码及其他情况，所以保持环境和数据库编码格式保持一致是很有必要的。这里用的是 MySQL ，在安装 MySQL 时就已经设置为 utf-8 的格式了，所以在写 java 项目时也用 utf-8 的格式。没有安装 MySQL 的话见 MySQL 安装，安装之后还需要对 MySQL 进行一些更改配置 MySQL 编码格式，同时为了方便使用 MySQL ，我们通过 Navicat 工具来帮助我们更好地去使用，Navicat 安装。

要对网页中某些我们需要的数据进行爬取，首先我们应该知道我们要的数据在网页中的什么