爬虫之腾讯视频今日热点爬取

今日热点主要爬取热点详情链接、图片链接以及标题。

#-*- coding =utf-8 -*-
from bs4 import BeautifulSoup   #网页解析、获取数据
import re   #正则表达式
import urllib.request,urllib.error  #定制URL，获取网页数据
import xlwt

def main():
    #1.爬取网页
    baseusrl="https://v.qq.com/"
    datalist=getData(baseusrl)
    savepath="今日热门.xls"
    saveData(datalist,savepath)

#正则化链接规则
findLink=re.compile(r'<a .* href="(.*?)">')     #生成正则表达式对象，表示规则,r表示忽视所有特殊符号如/,?表示0次或多次，.表示一个字符，.*表示多字符
findImgSrc=re.compile(r'<img .* src="(.*?)"',re.S) #re.S让换行符包含在字符中
findTitle=re.compile(r'<a .*>(.*?)</a>',re.S)
#爬取网页
def getData(baseurl):
    datalist=[]
    html = askURL(baseurl)  # 保存获取到的网页源码

    # 2.逐一解析数据
    # 树形结构对象
    soup = BeautifulSoup(html, "html.parser")
    for item in soup.find_all('div', class_="list_item"):  # 查找符合要求的字符串，形成列表,clas