爬虫----咨询公司招标信息采集

项目分析

我们以后做爬虫项目的时候，往往爬取的不止一个网站，要对每个网站定制爬虫。下面是我们以必联网为例，要爬取的所有内容。

下面，是网站页面的一级界面和二级界面上，我们所需要的内容。

打开网站，我们需要在登陆的情况下爬取。
爬虫分析，一定要从第二页开始，举例该网，第一页是一个get请求，但是从第二页开始，就是一个post请求了。这里，老师下载了个Postman的软件，可以直接下载网页的html。
二级页面，打开之后，是get请求。
一级页面，需要通过传递cookie，user-agent，form data。二级页面，直接通过url地址，来定位页面。

动手操作之模拟请求头

以往在pycharm中创建项目，这个是在CMD中创建。

在settings里面做了五个改动