python网络爬虫
文章平均质量分 52
锦鲤@me
小白进阶记
展开
-
python爬虫之Beautiful Soup库(3)
1.查看此网页是否遵循robots协议:https://www.shanghairanking.cn/robots.txt 如果出现404,则说明没有robots协议。 2.[sublime]将很乱的代码一键对齐:按ctrl+shift+p,弹出选项,选择下面这项Indentation:Reindent Lines ...原创 2021-05-04 17:13:57 · 216 阅读 · 0 评论 -
python爬虫之requests库(3)
搜索引擎关键字提交接口 1.百度的关键词接口 >>> import requests >>> kv={'wd':'Python'} >>> r=requests.get("http://www.baidu.com/s",params=kv) >>> r.status_code 200 >>> r.request.url 'http://www.baidu.com/s?wd=Python' >>> le原创 2021-05-02 19:41:47 · 178 阅读 · 0 评论 -
python爬虫之requests库(2)
requests库爬取亚马逊商品 文章目录requests库爬取亚马逊商品1.重点2.案例演示1. idle2.脚本文件 1.重点 ——r.request.headers改变user-agent即可访问 2.案例演示 1. idle >>> import requests >>> r=requests.get("https://www.amazon.com/-/zh/dp/B002OWETK4/?_encoding=UTF8&pd_rd_w=GLWDp&p原创 2021-04-29 09:55:16 · 370 阅读 · 0 评论