爬虫关键信息获取与MongoDB数据库使用方法

MongoDB数据库安装与使用

安装过程

如文章MongoDB Community Download | MongoDB所讲，只需点开下载的网址会自动匹配当前主机的操作系统，在下载完压缩包后进行解压即可。下图为经过解压后的文件夹内容(在下载的选项中选择custom自定义安装，自行选择安装的路径,我安装在E盘E:\\MongoDB)

配置MongoDB过程

首先在MongoDB的data文件夹里面新建一个db文件夹和一个log文件夹

随后，在环境变量中加入mongo的bin文件夹，完成环境变量的配置。

在命令行中检验mongo环境是否配置完毕，在cmd中输入mongo

关闭与开启MongoDB的方法

命令关闭

use admin
db.shutdownServer()

非命令关闭

按快捷键win+R,搜索services.msc,找到mongoDB对应的进程将其关闭。

配置MongoDB Compass可视化工具

进入上面提到的下载网站之后，选择导航选项中的Tools选项，随后看到下方的compass折叠项，点开后下载压缩包即可。

解压之后对应的文件内容如下。

点开应用程序后的执行效果如图，如果选择连接本地库则直接选择连接即可，如果链接其他数据库则需要输入数据库地址与相关密码

连接成功后的示意图如下

爬虫代码分析

获取发送给后台的post信息(即爬虫的header)内容

进入要爬取的网页之后，需要点击快捷键ctrl+f12从而打开网页的信息，随后点击上方导航栏的网络从而在之后查看发送给服务器后台的信息。(p.s​:此处需先将保留日志的选项勾选，并且选择查看Fetch/XHR的信息)

随后，点开任意一个信息，首先查看其中标头的内容，其中请求标头的内容即为爬虫中需要填写的header内容(其中最重要的是cookie信息，用于服务器辨别发出申请的用户的信息)

然后，查看当前信息的载荷的内容(在谷歌浏览器中，用此处表示发送给服务器的post信息)，这也是爬虫中给服务器发送的post信息。