爬取豆瓣电影信息

# 现在,我们来通过代码实现:
# 爬取2018年豆瓣电影排行榜评分排名前200的电影信息

from requests_html import HTMLSession


class Spider(object):
 def __init__(self):
 self.session = HTMLSession() ##首先生成这个对象
 self.api = 'https://movie.douban.com/j/new_search_subjects'
 ##绑定这个url

def get_params(self): ##确定筛选的条件,这个也就是get请求拼接在url后面的参数
 # sort=S&range=0,10&tags=&start=0&year_range=2015,2019
 # genres = input("输入你要筛选的电影类型,例如动作:")
 ##这个字典的其他参数也可以自己输入设置,但是这里只输入一个
 self.params = {
 'sort': 'S', ###这个是排序方式
'range': '0,10', ###页数范围
'year_range': '2018,2018', ###年份
 # 'genres': genres
'genres': '动作'
 }

 def get_film_info_dic(self):
 for i in range(0, 10): ##分页 一共10页 要获取前两百个 每页有20个
 self.params['start'] = i * 20
 # print(self.session.get(url=self.api, params=self.params).json(),'\r\n')
 page_info = self.session.get(url=self.api, params=self.params).json()
 page_info_values = page_info['data']
 # print(page_info_values,'\r\n')
with open('movie_info.txt', mode='at+', encoding='utf-8') as f:
 for one_page_info in page_info_values:
 # print(one_page_info,'\r\n')
 f.write(str(one_page_info) + '\r\n', )

 def run(self):
 self.get_params()
 self.get_film_info_dic()


if __name__ == '__main__':
 douban = Spider()
 douban.run()

转载于:https://www.cnblogs.com/1832921tongjieducn/p/11503382.html