提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
提示:以下是本篇文章正文内容,下面案例可供参考
一、主要内容
python爬虫-保存豆瓣电影指定页数据到本地文件
二、使用步骤
1.源码
代码如下(示例):
import urllib.request
import urllib.parse
def create_request(page):
base_url='https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&'
data={
'page_start':(page-1)*20
}
data=urllib.parse.urlencode(data)
url=base_url+data
print(url)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
}
request=urllib.request.Request(url=url,headers=headers)
return (request)
def get_content(request):
response=urllib.request.urlopen(request)
content=response.read().decode('utf-8')
return(content)
def down_load(page,content):
with open('douban_'+str(page)+'.json','w',encoding='utf-8') as fp:
fp.write(content)
if __name__=='__main__':
start_page=int(input("起始页码:"))
end_page=int(input("结束页码:"))
for page in range(start_page,end_page+1):
request=create_request(page)
content=get_content(request)
down_load(page,content)