python爬虫实践-到我碗里来，豆瓣电影（你才到碗里去！）

参考资料：百度智能云

一.爬虫的基本流程：

1. 连接目标地址
2. 获取想要的内容
3. 存储到本地

二.需要的模块：

1. 连接目标地址的——urllib
2. 存储到本地excel的——openpyxl
   如果报不存在此模块，如果使用的是pycharm，在设置中配置后可解决，具体请百度

三.目录结构

|  – crawler
	|  –  main.py
	|  –  getData.py
	|  –  saveData.py
	|  –  askUrl.py

四.代码示例

1. main.py

# coding = utf-8
import sys
from getData import getData
from saveData import saveData

def main():
    print("开始爬取......")
    baseurl = 'https://movie.douban.com/top250?start='
    datalist = getData(baseurl)
    savapath=u'./news.xlsx'
    saveData(datalist,savapath)

main()
print("爬取完成")

2. getData.py

from askUrl import askUrl
from bs4 import BeautifulSoup
import time
import re

def getData(baseurl):
    findLink = re.compile(r'<a href="(.*?)">')  # 找到影片详情链接
    findImgSrc = re.compile(r'<img.*src="(.*?)"', re.S)  # 找到影片图片
    findTitle = re.compile(r'<span class="title">(.*)</span>')  # 找到片名
    # 找到评分
    findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
    # 找到评价人数
    findJudge = re.compile(r'<span>(\d*)人评价</span>')
    # 找到概况
    findInq = re.compile(r'<span class="inq">(.*)</span>')
    # 找到影片相关内容：导演，主演，年份，地区，类别
    findBd = re.compile(r'<p class="">(.*?)</p>', re.S)
    # 去掉无关内容
    remove = re.compile(r'                            |\n|</br>|\.*')
    datalist = []

    for i in range(0, 10):
        url = baseurl + str(i * 25)
        print(url)
        html = askUrl(url)
        soup = BeautifulSoup(html, "html.parser")
        for item in soup.find_all('div', class_='item'):  # 找到每一个影片项
            data = []
            item = str(item)  # 转换成字符串
            # 影片详情链接
            link = re.findall(findLink, item)[0]
            data.append(link)  # 添加详情链接
            imgSrc = re.findall(findImgSrc, item)[0]
            data.append(imgSrc)  # 添加图片链接
            titles = re.findall(findTitle, item)
            # 片名可能只有一个中文名，没有外国名
            if (len(titles) == 2):
                ctitle = titles[0]
                data.append(ctitle)  # 添加中文片名
                otitle = titles[1].replace("/", "")  # 去掉无关符号
                data.append(otitle)  # 添加外国片名
            else:
                data.append(titles[0])  # 添加中文片名
                data.append(' ')  # 留空

            rating = re.findall(findRating, item)[0]
            data.append(rating)  # 添加评分
            judgeNum = re.findall(findJudge, item)[0]
            data.append(judgeNum)  # 添加评论人数
            inq = re.findall(findInq, item)

            # 可能没有概况
            if len(inq) != 0:
                inq = inq[0].replace("。", "")  # 去掉句号
                data.append(inq)  # 添加概况
            else:
                data.append(' ')  # 留空
            bd = re.findall(findBd, item)[0]
            bd = re.sub(remove, "", bd)
            bd = re.sub('<br(\s+)?\/?>(\s+)?', " ", bd)  # 去掉<br >
            bd = re.sub('/', " ", bd)  # 替换/
            data.append(bd.strip())
            datalist.append(data)

    time.sleep(5)
    return datalist

3. saveData.py

import openpyxl
# 将相关数据写入excel中

def saveData(datalist ,savepath):
    book =openpyxl.Workbook()
    sheet = book.create_sheet("豆瓣电影Top250")
    # sheet=book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)
    col =('电影详情链接' ,'图片链接' ,'影片中文名' ,'影片外国名', '评分' ,'评价数' ,'概况' ,'相关信息')

    sheet.append(col)  # 添加列头


    for i in range(0 ,10):
        data =datalist[i]
        for j in range(0 ,8):
            sheet.cell(row = ( i +2) ,column = ( j +1) ,value = data[j])

        # openpyxl中的单元格计数从1开始, 加上第一行是列头, 要多跳一个
    # openpyxl中的计数和Excel内的计数方式一致, 但和常规编程从0开始的方式相左

    book.save(savepath)  # 保存

4. askUrl.py

import urllib.request as url_rquest
import urllib.error as url_error

def askUrl(url):
    html = ''
    request = url_rquest.Request(url) #连接地址
    try:
        response = url_rquest.urlopen(request) #取得响应
        html = response.read() #获取内容
        # print(html)
    except url_error.URLError as e:
        if hasattr(e, 'code'):
            print(e.code)
        elif hasattr(e, 'reason'):
            print(e.reason)

    return html

五.成果展示

报418，百度说有反爬，就没有成果了…