爬虫时遇到的错误

最新推荐文章于 2022-07-23 18:31:04 发布

xytywh

最新推荐文章于 2022-07-23 18:31:04 发布

阅读量494

点赞数

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/xiaohuihui1994/article/details/83151083

版权

爬虫专栏收录该内容

2 篇文章 0 订阅

订阅专栏

根据微博关键字爬取微博内容的时候，url需要注意
这样可以

url = "https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D{}&page_type=searchall&page={}"
#keyword是关键字，page是页数
response = requests.get(url.format(keyword, page), headers=headers)

这样不行（爬取不到内容）

url = "https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D" + keyword +"&page_type=searchall&page=" + str(page)
#keyword是关键字，page是页数
response = requests.get(url, headers=headers)