简单爬虫request请求

下载豆瓣 王祖贤的海报

1. 使用request请求URL得到返回结果
2. 将JSON格式转换成Python对象
3. 在response 里查看当前下载的图片网址
4. 下载保存图片

# coding:utf-8
# 下载豆瓣 王祖贤的海报
import requests
import json

query = '王祖贤'
''' 下载图片 '''
def download(src, id):
	dir = './' + str(id) + '.jpg'
	try:
		pic = requests.get(src, timeout=10)
	except requests.exceptions.ConnectionError:
		print('图片无法下载')

	fp = open(dir, 'wb')
	fp.write(pic.content)
	fp.close()

''' for循环 请求全部的url '''
for i in range(0, 22471, 20):
	url = 'https://www.douban.com/j/search_photo?q='+query+'&limit=20&start='+str(i)
	html = requests.get(url).text    #得到返回结果
	response = json.loads(html,encoding='utf-8') #将JSON格式转换成Python对象
	for image in response['images']:
		print(image['src']) #查看当前下载的图片网址
		download(image['src'], image['id']) #下载一张图片
		

下载豆瓣爱情的电影封面

1. 构造url，翻页变换参数为start=, tag=电影, gender=爱情, 改变start=后面的数字，可以爬取不同的页
2. 使用request请求URL得到返回结果
3. 将JSON格式转换成Python对象
4. 在response 里查看当前下载的图片网址
5. 下载保存图片

# coding:utf-8
# 下载豆瓣爱情的电影封面
import requests
import json

# 下载图片
def download(url, title):
    dir = './' + title + '.jpg'
    try:
        pic = requests.get(url)
        fp = open(dir, 'wb')
        fp.write(pic.content)
        fp.close()
        print(title)
    except requests.exceptions.ConnectionError:
        print('图片无法下载')


for num in range(0, 1000, 20):
    # 构造url，翻页变换参数为start=, tag=电影, gender=爱情, 改变start=后面的数字，可以爬取不同的页
    url = 'https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=%E7%94%B5%E5%BD%B1&start='\
          + str(num)+'&genres=%E7%88%B1%E6%83%85'
    print(url)
    html = requests.get(url).text
    # 转为json格式
    res = json.loads(html, encoding='utf-8')
    for result in res['data']:
        cover = result['cover']
        title = result['title']
        download(cover, title)