python 爬取视频 用哪个框架_使用python爬虫框架scrapy抓取虎牙主播数据

前言

本文利用python的scrapy框架对虎牙web端的主播、主播订阅数、主播当前观看人数等基本数据进行抓取，并将抓取到的数据以csv格数输出，以及存储到mongodb中

思路

观察虎牙网站后确认所有频道url都在www.huya.com/g中的，而主播房间数据则是ajax异步数据，获取数据的链接为

http://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId={频道id}&tagAll=0&page={页码}

该链接通过控制gameId和page来返回某频道下某页的数据，根据以上观察爬行设计思路如下

第一步：访问www.huya.com/g页面，在li(class类型为game-list-item)中获取当前所有频道的链接、标题、频道id

第二步：根据第一步获取到的频道的链接进入频道页面，在频道页面获取当前频道页数，再根据该频道id，页数构造异步数据请求链接

第三步：从第二步中获取频道返回的异步数据内容，将返回的json数据类型转化为字典，再获取要抓取的目标内容。

第四步：向第三步中获取到的主播房间url发出请求,进入房间页面后抓取主播订阅数

第五步：将数据输出为csv格式以及存在mongodb数据库中。

频道分类页面

ajax异步请求对应的链接

代码

items

在items中定义要抓取的字段内容，items代码如下

class HuyaspiderItem(scrapy.Item):

channel = scrapy.Field() #主播所在频道

anchor_category = scrapy.Field() #主播类型

anchor_name = scrapy.Field() #主播名称

anchor_url = scrapy.Field() #直播房间链接

anchor_tag = scrapy.Field() #主播标签

anchor_roomname = scrapy.Field() #主播房间名称

position = scrapy.Field() #当前频道的主播排名

watch_num = scrapy.Field() #观看人数

fan_num = scrapy.Field() #订阅数量

crawl_time = scrapy.Field() #爬取时间

pipelines

在pipelines中设置输出为csv表以及将数据保存到mongodb中，pipelines代码设置如下

# -*- coding: utf-8 -*-

import json,codecs

import pymongo

class HuyaspiderPipeline(object):

def __init__(self):

self.file = codecs.open('huyaanchor.csv','wb+',encoding='utf-8') #创建以utf-8编码的csv文件

client = pymongo.MongoClient('localhost',27017) #创建mongodb连接

db = client['huya'] #创建mongodb数据库huya

self.collection =db['huyaanchor'] #创建数据库huya中collection

def process_item(self, item, spider):

item = dict(item) #将抓到的item转为dict格式

line = json.dumps(item)+'\n' #定义line字段将抓到的item转为jump格式，加上空格换行

self.file.write(line.decode('unicode_escape')) #将line写进csv中输出

self.collection.insert(item) #将item写进mongodb中

middlewares

在middlewares中以继承UserAgentMiddleware父类方式创建创建HuyaUserAgentMiddlewares类，该类用于scrapy每次执行请求时使用指定的useragent，middlewares代码如下

from scrapy import signals

from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware

import random

class HuyaUserAgentMiddleware(UserAgentMiddleware):

def __init__ (self,user_agent=""):

'''定义随机user_agent列表'''

self.user_agent =user_agent

self.ua_list = ["Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",

"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",

"Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",

"Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",

"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",

"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",

"Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",

"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",

"Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",

"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",

"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",]

self.count=0

def process_request(self,request,spider):

ua ='Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:53.0) Gecko/20100101 Firefox/53.0'

request.headers.setdefault('Use-Agent',ua) #设定reuqest使用的Use-Agent为ua

request.headers.setdefault('Host','www.huya.com') #设定reuqest使用的Host为www.huya.com

request.headers.setdefault('Referer','http://www.huya.com/') #设定reuqest使用的Referer为http://www.huya.com/

settings

settings配置如下,在“DOWNLOADER_MIDDLEWARES”以及“ITEM_PIPELINES”设置上述items和middlewares中的配置。

DOWNLOADER_MIDDLEWARES = {

'huyaspider.middlewares.HuyaUserAgentMiddleware': 400, #启动middlewares中设定好的usragent

'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware':None, #禁用默认的usragent

}

ITEM_PIPELINES = {

'huyaspider.pipelines.HuyaspiderPipeline': 300, #设置pipelines

}

spider

在spider中定义了parse、channel_get、channel_parse、room_parse四个函数，其作用说明如下

parse ：获取虎牙下所有频道的url 、频道id 、频道名称

channel_get ： def parse的回调函数，根据频道id构造主播数据连接并执行请求

channel_parse ：channel_get 的回调函数，根据返回的json数据抓取相应内容，并抓出主播的房间链接，对房间链接执行请求

room_parse ：channel_parse的回调函数，抓取主播的订阅数量

代码如下

# -*- coding: utf-8 -*-

import scrapy,re,json,time

from scrapy.http import Request

from huyaspider.items import HuyaspiderItem

class HuyaSpider(scrapy.Spider):

name = "huya"

allowed_domains = ["www.huya.com"] #设置爬虫允许抓取的

start_urls = ['http://www.huya.com/g'] #设置第一个爬取的url

allow_pagenum = 5 #设置爬取频道的数量

total_pagenum = 0 #计算档前已爬取频道的数量

url_dict={} #设置存放url的dict

def parse(self,response):

parse_content= response.xpath('/html/body/div[3]/div/div/div[2]/ul/li') #抓取当前频道

for i in parse_content:

channel_title = i.xpath('a/p/text()').extract() #抓取频道名称

channel_url = i.xpath('a/@href').extract_first() #抓取当前频道url

channel_id = i.xpath('a/@report').re(r'game_id\D*(.*)\D\}') #抓取当前频道对应的id，用正则去掉不需要部分

channel_data = {"url":channel_url,"channel_id":channel_id[0]} #将频道url和频道id组成一一对应的dict

self.url_dict[channel_title[0]]=channel_data #将频道名称和channel_data添加在url_dict中

if self.total_pagenum <= self.allow_pagenum: #用于控制爬出抓取数量，当total_pagenum小于allow_pagenum 继续爬

self.total_pagenum += 1

yield Request(url=channel_url,meta={'channel_data':channel_data,'channel':channel_title},callback=self.channel_get) #使用request，meta携带数据为频道url，频道id，回调函数为channel_get

def channel_get(self, response):

page_num = int( response.xpath('/html/body/div[3]/div/div/div["js-list-page"]/div[1]/@data-pages').extract_first( ) ) #抓取当前频道一共有多少页，并转为int格式

channel_id = response.meta['channel_data']['channel_id'] #将传入meta的dict(channel_data)中的channel_id值赋给channel_id，该id用于构造url从而实现翻页

channel = response.meta['channel'] #将传入的meta的dict中的channel_id值赋给channel_id

for i in range(1,page_num+1): #根据page_num数量构造"下一页"并继续抓取

url ='http://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId={gameid}&tagAll=0&page={page}'.format(gameid=channel_id,page=i) #获取下一页的json数据

yield Request(url=url,meta={'page':i,'channel':channel},callback=self.channel_parse) #meta携带数据为频道当前页码，频道名称，回调函数为channel_parse

def channel_parse(self, response):

print 'channel_parse start'

count =0 #用于当前房间的位置计算位置

response_json = json.loads(response.text) #利用json.loads将json数据转为字典

channel =response.meta['channel']

for i in response_json['data']['datas']:

count +=1

items=HuyaspiderItem() #实例化item.HuyaspiderItem

items['channel'] = channel #获取频道名称

items['anchor_category'] = i['gameFullName'].replace('/n','') #获取主播类型，并删内容中的换行符

items['watch_num'] = i['totalCount'] #获取观看数量

items['anchor_roomname'] = i['roomName'] #获取房间名称

items['anchor_url'] = 'http://www.huya.com/'+i['privateHost'] #获房间url

items['anchor_name'] = i['nick'] #获主播名称

items['anchor_tag'] = i['recommendTagName'] #获主播推荐标签

items['position'] = str(response.meta['page'])+"-"+str(count) #获取所在频道的位置

yield Request(url=items['anchor_url'],meta={'items':items},callback=self.room_parse) #进入主播房间url获取主播订阅数量，meta携带数据为刚抓取的items，回调函数为room_parse

def room_parse(self,response):

print "room_parse start"

items =response.meta['items']

try:

items['fan_num'] =response.xpath('/html/body/div[2]/div/div/div[1]/div[1]/div[2]/div/div[1]/div[2]/text()').extract() #获取主播订阅数量

except Exception as e:

items['fan_num'] ='none' #如果主播订阅数量为空值则数据则为none

items['crawl_time'] = time.strftime('%Y-%m-%d %X',time.localtime()) #记录爬取时间

yield items #输出items