Python爬虫-2-get请求

get请求常见使用方法

1.网站分类

如下图页面的每个分类，通过get请求数据

 

2.网站分页

如：链家租房页面的分页

3.搜索关键字

如：百度搜索

 

4.瀑布流参数

如百度图片：不会一次性将所有图片全部显示出来，这样会给服务器造成压力，也避免客户长时间的等待，所以图片都是慢慢加载出来的

 

urllib get

1.url分析

我们在爬取网站之前，要对网站的大体导航链接和页面url进行分析

 

 

以无锡二手房为例分析得到：

首页base_url：https://wx.lianjia.com

（1）位置：【区域】选择滨湖，上方url为base_url + ershoufang/