Python编写网络爬虫带model

Python编写网络爬虫带model

以http://zuidazy.net电影网站为例，实现步骤如下：

一、分析网站：

分析网站的代码结构：如网址，需要采集的代码取，建设使用谷歌浏览器
如图：
解释：1.为网址栏，分析网址的相同部分及不同部分
2.为按F12查看源码，为需要采集的代码

二、编写网站所有网页的遍历如下(文件名称：index.py)

from reptileTest import qu
url=""
for i in range(1,423):
    if i==1:
        url="/?m=vod-index.html"
    else:
        url="/?m=vod-index-pg-"+str(i)+".html"
    qu(url,i)

注：该段代码为对网站所有网站的完整遍历，以方便获取所有电影的真实路径

三、编写向指定网站发起访问请求(文件名称：reptileTest.py)

import urllib.request

from requl import requ

def qu(jia,ii):
    print("正在获取第：" + str(ii) + "页的电影信息")
    url = "http://zuidazy.net"+jia
    req = urllib.request.Request(url)
    res = urllib.request.urlopen(req)
    html = res.read().decode("utf-8", 'ignore')
    # print(html)
    requ(html)
    print("获取第："+str(ii)+"页的电影信息结束")

四、使用BeautifulSoup进行最终的抓取(文件名称：requl.py)

import urllib.request
from bs4 import BeautifulSoup

def requ(html):
    web = BeautifulSoup(html, features="html.parser")
    # print("开始抓取")
    daima = web.select("ul > li > span > a")
    for h in daima:
        # 通过主页进入某个电影的信息页面
        # 抓取新的url 这次抓取，需要抓取电影的：图片路径，电影名称，主演，类型，及播放地址等
        url1 = "http://zuidazy.net/" + h.get("href")
        req1 = urllib.request.Request(url1)
        res1 = urllib.request.urlopen(req1)
        html1 = res1.read().decode("utf-8", 'ignore')
        web1 = BeautifulSoup(html1, features="html.parser")
        # daima1 = web1.select("div[class=vodInfo]")
        # print(daima1)
        # 获取电影图片
        daima1 = web1.select("img[class=lazy]")
        for dao in daima1:
            dao.get("src")
            print("该电影的图片地址：------------"+dao.get("src"))

        # 获取电影名称
        daima1 = web1.select("div[class=vodh] > h2")
        for dai in daima1:
            print(dai.get_text())
        # 获取播放类型
        daima1 = web1.select("div[class=vodh] > span")
        for dai in daima1:
            print(dai.get_text())
        # 获取评分
        daima1 = web1.select("div[class=vodh] > label")
        for dai in daima1:
            print(dai.get_text())
        # 获取别名
        daima1 = web1.select("div[class=vodinfobox] > ul > li:nth-of-type(1) > span")
        for dai in daima1:
            print(dai.get_text())
        # 获取导演
        daima1 = web1.select("div[class=vodinfobox] > ul > li:nth-of-type(2) > span")
        for dai in daima1:
            print(dai.get_text())
        # 获取主演
        daima1 = web1.select("div[class=vodinfobox] > ul > li:nth-of-type(3) > span")
        for dai in daima1:
            print(dai.get_text())
        # 获取电影类型
        daima1 = web1.select("div[class=vodinfobox] > ul > li:nth-of-type(4) > span")
        for dai in daima1:
            print(dai.get_text())


        # 网站图片代码
        # <img class="lazy" src="http://tupian.tupianzy.com/pic/upload/vod/2018-10-04/201810041538621879.jpg" alt="青春猪头少年不会梦到兔女郎学姐">

抓取结束：

model源文件下载地址：Python编写网络爬虫带model
请下载这个model: Python编写网络爬虫优化版model