【python爬虫学习笔记】03 requests库爬取的简单实例以及robots协议

最新推荐文章于 2022-10-18 10:19:30 发布

ccszbd

最新推荐文章于 2022-10-18 10:19:30 发布

阅读量831

点赞数 2

分类专栏： python爬虫

本文链接：https://blog.csdn.net/weixin_42864175/article/details/84844003

版权

本文介绍了使用Python的requests库进行网络爬虫的基本操作，包括京东和亚马逊的商品信息爬取，搜索引擎关键词提交，网络图片下载以及IP归属地查询。同时详细讲解了Robots协议的重要性，如何通过User-Agent限制爬虫行为，并展示了网站的robots.txt文件的使用，强调遵守Robots协议以避免法律风险。

摘要由CSDN通过智能技术生成

1. 爬取京东手机信息

import requests
def getHTMLText(url):
	try:
		r = requests.get(url,timeout=30)
		#如果状态不是200，引发HTTPError异常
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		print(r.text[:1000])
	except:
		return "爬取失败"

if  __name__ == "__main__":
	url = "https://item.jd.com/7081550.html"
	print(getHTMLText(url))

2. 爬取亚马逊商品信息，需要修改user-agent的值

import requests
def getHTMLText(url):
	try:
		kv = {'user-agent':'Mozilla/5.0'}
		r = requests.get(url,headers=kv,timeout=30)
		#如果状态不是200，引发HTTPError异常
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		print(r.text[1000:2000])
	except:
		return "爬取失败"

if  __name__ == "__main__":
	url = "https://www.amazon.com/dp/B078HRHWH2/ref=sspa_dk_detail_4?psc=1&pd_rd_i=B078HRHWH2&pf_rd_m&#