奇酷学院-数据采集及其可视化（一）

前言：

这个呢，是我们学院小学期时我选择的一个项目，大致讲的就是如何从网页上爬取数据，爬取下来之后先保存至本地的数据库中，之后根据自己的需要对相应的数据进行可视化操作，例如通过柱状图、折线图、扇形图等来直观地展示。下面我大概说一下我从中学到的东西。

 

由于我们这次操作涉及到和数据库的联系，这就牵连到不同的编码格式，我们这里用的数据库是 mysql ，而 mysql 中一般用的是 UTF-8 格式，所以我们在项目进行前，需要先对 eclipse 中的编码格式作一下更改，在 eclipse 的 windows 中的 Preferences 下修改三个部分，其分别如下：

当然，对 eclipse 环境的编码格式设置是基于需要连接数据库的编码格式保持一致（若是 GBK 等格式的也可以改为相应的编码格式），这为后期的操作提供很大的方便，因为在不同的编码格式下处理会产生乱码及其他情况，所以保持环境和数据库编码格式保持一致是很有必要的。这里用的是 MySQL ，在安装 MySQL 时就已经设置为 utf-8 的格式了，所以在写 java 项目时也用 utf-8 的格式。没有安装 MySQL 的话见 MySQL 安装 ，安装之后还需要对 MySQL 进行一些更改 配置 MySQL 编码格式 ，同时为了方便使用 MySQL ，我们通过 Navicat 工具来帮助我们更好地去使用，Navicat 安装 。

---

要对网页中某些我们需要的数据进行爬取，首先我们应该知道我们要的数据在网页中的什么