python子线程解析豆瓣

最新推荐文章于 2024-01-11 23:06:11 发布

马虎的程序猿

最新推荐文章于 2024-01-11 23:06:11 发布

阅读量145

点赞数

分类专栏：最直观爬取文章标签：子线程

本文链接：https://blog.csdn.net/weixin_45195493/article/details/94475238

版权

最直观爬取专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了一种使用Python和多线程技术从豆瓣网站抓取电影数据的方法。通过构建请求头，解析JSON响应，获取电影列表，并进一步抓取每个电影的详细信息，包括电影名、演员、评分和简介。该爬虫利用lxml库解析HTML，requests库发送HTTP请求，以及threading库实现多线程加速数据抓取。

摘要由CSDN通过智能技术生成

from lxml import etree
import requests, json
from threading import Thread
from time import time

 # 构建请求头
    class Douban():
	    def __init__(self):
	        self.headers = {
	            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
	        }
	
	    # 列表页所有url
	    def response_url_list(self, url_list):
	
	        response = requests.get(url_list, self.headers,)
	
	        result = json.loads(response.text)['subjects']
		#将url解析出的存入列表返回
	        res_url = []
	        for i in result:
	            url_list_name = i['url']
	            res_url.append(url_list_name)
	        return res_url
	
	    # 详细页 url 和获取详细页信息
	    def resp_get(self, j):
	        response = requests.get(j, self.headers)
	        res_html = etree.HTML(response.text)
	        restult = {}
	        # 电影名
	        restult['电影名'] = res_html.xpath("//div[@id='wrapper']//h1/span/text()")[0]
	        # 演员
	        restult['演员'] = res_html.xpath('//div[@id="info"]//span/span/a/text()')
	        # 评分
	        restult['评分'] = res_html.xpath("//div[@class='rating_wrap clearbox']/div/strong/text()")[0]
	        # 简洁
	        restult['简介'] = res_html.xpath("//div[@class='related-info']/div/span/text()")[0].strip()
	        print(restult)
	
	
	if __name__ == '__main__':
	    # 实例化
	    douban = Douban()
	    # 查看子线程用时
	    st_time = time()
	    # 列表页的url
	    print('提示:','热门','最新','经典' ,'可播放','豆瓣高分' ,'冷门佳片','华语','欧美','韩国','日本','动作','喜剧','爱情','科幻','悬疑','恐怖','成长')
	    a = input('请输入需要查询类别:')
	    b = int(input('请输入需要查询页数:'))
	    url_list = 'https://movie.douban.com/j/search_subjects?type=movie&tag={}&sort=recommend&page_limit=20&page_start={}'.format(a,(b-1)* 20)
	    print('正在解析列表页{}'.format(b))
	    # 接收返回值的列表页下的所有url
	    list_url_resp = douban.response_url_list(url_list)
	    t_list = []
	    for j in list_url_resp:
	        t = Thread(target=douban.resp_get, args=(j,))
	        t.start()
	        t_list.append(t)
	
	    [i.join() for i in t_list]
	
	
	    print('多任务时,共耗时:{}'.format(time() - st_time))