python爬虫爬取京东、亚马逊商品页面信息

利用爬虫获取京东页面上的信息

>>> import requests
>>> r=requests.get("https://item.jd.com/7629588.html")
>>> r.status_code
200
>>> r.encoding
'gbk'
>>> r.text[:1000]

利用爬虫获取亚马逊的商品信息

>>> import requests
>>> url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
>>> try:
	kv={'user-agent':'Mozilla/5.0'}#亚马逊对来源做了审查，我们需要利用requests库的功能模拟浏览器向亚马逊提出请求并且获得信息
	r=requests.get(url,headers=kv)
	r.raise_for_status()
	r.encoding=r.apparent_encoding
	print(r.text[1000:2000])
except:
	print("爬取失败")