京东商品(正常运行)
import requests
url='https://item.jd.com/100004286349.html'
try:
r=requests.get(url)
r.raise_for_status()#状态码,返回200则对
r.encoding=r.apparent_encoding#编码
print(r.text[:1000])
except:
print('爬取失败')
![](https://i-blog.csdnimg.cn/blog_migrate/d0e2a448f328f97998e213b723ba5820.png)
亚马逊商品信息(存疑,可能是网站已变更?似乎无法得到有用信息)
import requests
url='https://www.amazon.cn/gp/product/B01M8L5Z3Y'
try:
kv={'user-agent':'Mozilla/5.0'} #修改requestd库——伪装成浏览器,别被亚马逊识破
r=requests.get(url,headers=kv)
r.raise_for_status()#状态码,返回200则对
r.encoding=r.apparent_encoding#编码
print(r.text[:1000])
except:
print('爬取失败')
![](https://i-blog.csdnimg.cn/blog_migrate/0c9dfefd22976d20c19603e3f0b1779a.png)
百度、360搜索关键词,返回长度(百度存疑,可能是网站已变更——需要验证码;360可)
![](https://i-blog.csdnimg.cn/blog_migrate/1e665180522b6de1e9e4b4f50873e0ec.png)
#百度
import requests
keyword='python'#关键词
try:
kv={'wd':keyword} #修改requestd库——伪装成浏览器,别被亚马逊识破
r=requests.get('https://www.baidu.com/s',params=kv)#搜索关键词
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print('爬取失败')
#360
import requests
keyword='python'
try:
kv={'q':keyword} #修改requestd库——伪装成浏览器,别被亚马逊识破
r=requests.get('https://www.so.com/s',params=kv)#搜索关键词
print(r.request.url)
r.raise_for_status()
print(len(r.text))
except:
print('爬取失败')
网络图片的爬取和存储
![](https://i-blog.csdnimg.cn/blog_migrate/bdf95f9c3d24e102a50be4d1e9581f83.png)