weixin_46653241的博客

豆瓣爬虫250， 爬取数量可以通过对url参数得改变获得 爬取种类可以通过对正则表达式得改变来获得 实现代码如下： import re import requests import csv #由于每页只有25个，需要爬取多个页面，所以需要对url的参数做改写； list=[] for i in range(10): list.append(i*25) #对被爬取的10页数据做循环： for j in list: #在展示不同页面的时候url会做出改变，根据参数的变化规律改写； url=

服务器渲染：服务器直接把网页和数据整合在一起，返回给网页（在页面源代码中可以看到数据）。 get类型： （仅供模板参考） import requests url='http://www.sougou.com/web?query=周杰伦' headers={ "User-Agent":" Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/