python实现番剧信息爬取(bangumi,豆瓣,萌百)

最新推荐文章于 2024-05-14 11:00:23 发布
最新推荐文章于 2024-05-14 11:00:23 发布
阅读量696 收藏 1
点赞数
文章标签： python 数据库 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42104961/article/details/132481555
版权

前言

这对于我属于一个比较大的工程了，所有知识都是新的要慢慢学，同时也是一个没有接触过的领域。但是经过了一周多的时间还是成功解决了，里面肯定有很多不完美的地方，但是我个人觉得对于我这个新手还是很成功的。

宏观需求一句话就是：手动给出番剧名称，自动得到番剧的相关信息并且制成excel，这个excel在后期可以导入到数据库，进而作为网站番剧书架分区的数据。

分布流程如下：

  1. 在bangumi中手动逐年翻看番剧，把所有自己看过的番剧添加到自己账号的在看中
  2. 通过油猴脚本将账号中添加的所有在看番剧爬取下来，得到番剧名称+封面url信息制作成excel
  3. 将此excel制作成txt作为python代码的读取文件
  4. 通过moegirl_url_get.py文件得到每个番剧在萌娘百科的对应url
  5. 通过douban_info_get.py文件得到每个番剧在豆瓣中的相关信息，包括：
    • 豆瓣评分
    • 导演、编剧、主演
    • 番剧在豆瓣中对应的url
    • 番剧在豆瓣中相关图片页面的url
    • 豆瓣给出的豆瓣相关图片
  6. 通过excel的VLOOKUP函数进行多表合并，把上面得到的两个表的信息与初始表进行合并，进而得到有完整信息的excel表格

注意：爬虫使用时全程开着代理，防止网站检测到爬虫把IP封了，如果封了就换个代理就行，比较方便，别到时候把自己正常ip搭进去了

正文

这里我将根据实际操作的整个流程依次介绍用到的方法或者我写的代码

1.bangumi番剧手动添加

bangumi网站链接是一个很大的动漫社区，里面番剧的数据库比较完全，所以可以把他作为我们整个流程的起点，保证我们看过的番剧都能在这里面找到（同时也会引发一个问题：bangumi分的比较细，导致豆瓣和萌娘有些细分番剧并没有对应词条，爬虫得到的信息是错的）

进去建个号然后慢慢把自己活到现在看过的番都添加到bangumi的在看里面

image-20230620091331091

2.利用油猴脚本得到番剧名的excel

我用的是edge浏览器，可以直接添加油猴的扩展，然后去下载一个脚本，地址如下：bangumi collection export tool (greasyfork.org)

image-20230620091619428

安装好后再去bangumi的在看界面，会发现脚本的按钮，于是便可以生成excel了

生成后把不重要的删除，保留重要的信息。这里我为了方便后面流程的展示就保留了22个番剧（我咋可能只看22个捏）

image-20230620092704000

最后将封面地址中的内容进行替换，如下：

image-20230620093237410

油猴脚本得到的封面图是最小版本的，不是很清晰，通过查看其他图片的url发现/c/是小图片，/l/是大图片，所以我们把excel中的都替换成大图片。如图左边为/l/，右边有/c/

image-20230620093400967

3.excel转换为txt

非常简单的一步，上一篇文章我也说过了

由于我们只需要番剧名称，所以可以复制一份表，把其他东西全删掉

image-20230620094010127

image-20230620094037450

结果为：

image-20230620094115306

4.moegirl_url_get.py

这个爬虫的思路其实很简单，就是模拟我们正常使用的流程，在萌娘百科的搜索页面搜索一个番剧名，查找后我们会得到一系列答案，爬虫默认第一个词条是我们要查找的结果，返回他的url

image-20230620093718559

导入库

# coding=gbk
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

Movie类初始化

class Movie():
    def __init__(self, name):
        # 搜索url = 基础url + 名字
        self.name = name
        self.url = f'https://zh.moegirl.org.cn/index.php?search={name}&title=Special:搜索&profile=default&fulltext=1'
        # 访问headers
        self.headers = 'User-Agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                       'Chrome/78.0.3904.108 Safari/537.36"'
        self.chrome_options = webdriver.ChromeOptions()
        self.chrome_options.add_argument('--headless')
        self.chrome_options.add_argument('--disable-gpu')
        self.chrome_options.add_argument(self.headers)
        self.path = Service('chromedriver.exe')
        self.browser = webdriver.Chrome(options=self.chrome_options, service=self.path)
        self.wait = WebDriverWait(self.browser, 10)

首先我们要分析搜索页面的url构成

正常如下：https://zh.moegirl.org.cn/index.php?search=轻音少女&title=Special:搜索&profile=default&fulltext=1&searchToken=bzu62v92dvwr9ijjl0eq61hum

image-20230620101803610

通过尝试，我们发现url尾部的searchToken并不是必要的，删除他的url:https://zh.moegirl.org.cn/index.php?search=轻音少女&title=Special:搜索&profile=default&fulltext=1会重定向到上面那个完整的url

我们发现搜索页面的搜索内容其实就是search后面的内容，其他的我们都不用改，因此我们就知道了方法

给Movie两个属性，一个是番名，一个是url模板+番名拼接形成的针对于该番剧的搜索页面url

访问headers固定，可以用我代码里的，也可以自己按F12查看一下，在搜索页面刷新一下看一下

其他属性默认

image-20230620102553066

Movie方法

获取搜索结果，以便进一步选择

def get_search(self, log, o_list):
    self.browser.get(self.url)
    try: response = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".mw-search-result-heading > a")))
    except:
        TimeoutError
        print("没有搜到" + str(self.name))
        log.write(str(self.name) + "    " + "未搜索到词条\n")
        return None
    print("success")
    if response:
        # print('请选择:')
        movies = []
        url = response.get_attribute('href')
        self.browser.close()
        o_list.write(str(self.name) + '\t' + str(url) + '\n')
        print("查询到词条！")
        return movies
    else:
        print("没有搜到" + str(self.name))
        log.write(str(self.name) + "    " + "未搜索到词条\n")

通过函数去拿搜索页面返回的response，这里需要我们按F12打开审查元素去找网站代码规律

首先通过EC.presence_of_element_located去定位资源，这个函数判断特定元素是否存在于页面DOM树中，如果是，返回该元素（单个元素），否则报错。更多内容可参考：Selenium学习之显式等待中的EC模块详解_，掌握 Selenium 元素定位，解决 Web 自动化测试痛点

定位方式我们选择By.CSS_SELECTOR，通过css表达式定位资源，更多内容可参考：Python - selenium-元素定位

image-20230620104211518

通过查看页面CSS，我们发现搜索结果在class="mw-search-result-heading"空标签下的a标签中。我们默认第一个是正确答案，而正好EC.presence_of_element_located返回的是第一个内容。我们的CSS语法为.mw-search-result-heading > a，也就是我们找一个class属性为mw-search-result-heading的标签下的a标签

image-20230620104603126

后面跟个try-catch，防止因为搜索时间过长爆TimeoutError导致整体爬虫被迫停止，except中我们为了方便检查，一条语句让把失败信息输出到控制台，一条语句让把报错的日志写到一个txt文件夹中汇总。后面的if-else则是防止没有找到词条爆错。

except:
    TimeoutError
    print("没有搜到" + str(self.name))
    log.write(str(self.name) + "    " + "未搜索到词条\n")
    return None

如果我们搜索没有超时，同时确实得到了response，接下来就是简单的字符串获取

if response:
    # print('请选择:')
    movies = []
    url = response.get_attribute('href')
    self.browser.close()
    o_list.write(str(self.name) + '\t' + str(url) + '\n')
    print("查询到词条！")
    return movies

我们获取response信息（a标签内容）中的href属性，那个便是第一个词条的url关键内容

最后做个拼接，把番剧内容和url写到一个txt文件中汇总，同时两个信息用制表符间隔

主函数

def main():
    start_time = time.time()
    path = 'C:/Users/zaughter/Desktop/test.txt'
    o_list = open('moegirl_list.txt', mode='w')
    log = open('moegirl_log.txt', mode='w')
    i = 0
    global_total = 0
    with open(path) as f:
        line = f.readline()
        while line:
            global_total += 1
            i += 1
            print("==========================")
            print("正在处理第" + str(i) + "组数据")
            movie_name = line.strip()
            m = Movie(movie_name)
            movies = m.get_search(log, o_list)
            line = f.readline()
    print("==========================")
    end_time = time.time()
    print("处理完毕! 共处理" + str(global_total) + "条数据,共用时：" + str(end_time-start_time) + "s")


if __name__ == '__main__':
    main()
  1. 用time函数分别记录开始与结束的时间戳，算出总用时，最后输出作为指示
  2. path为步骤3生成的txt的位置
  3. 创建两个txt，一个为输出文件，一个为日志文件
  4. 然后开始逐行读取txt文件，使用Movie对象的方法搞就完了

完整代码

# coding=gbk
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

class Movie():
    def __init__(self, name):
        # 搜索url = 基础url + 名字
        self.name = name
        self.url = f'https://zh.moegirl.org.cn/index.php?search={name}&title=Special:搜索&profile=default&fulltext=1'
        # 访问headers
        self.headers = 'User-Agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                       'Chrome/78.0.3904.108 Safari/537.36"'
        self.chrome_options = webdriver.ChromeOptions()
        self.chrome_options.add_argument('--headless')
        self.chrome_options.add_argument('--disable-gpu')
        self.chrome_options.add_argument(self.headers)
        self.path = Service('chromedriver.exe')
        self.browser = webdriver.Chrome(options=self.chrome_options, service=self.path)
        self.wait = WebDriverWait(self.browser, 10)

    # 获取搜索结果，以便进一步选择
    def get_search(self, log, o_list):
        self.browser.get(self.url)
        try: response = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".mw-search-result-heading > a")))
        except:
            TimeoutError
            print("没有搜到" + str(self.name))
            log.write(str(self.name) + "    " + "未搜索到词条\n")
            return None
        print("success")
        if response:
            # print('请选择:')
            movies = []
            url = response.get_attribute('href')
            self.browser.close()
            o_list.write(str(self.name) + '\t' + str(url) + '\n')
            print("查询到词条！")
            return movies
        else:
            print("没有搜到" + str(self.name))
            log.write(str(self.name) + "    " + "未搜索到词条\n")


def main():
    start_time = time.time()
    path = 'C:/Users/zaughter/Desktop/test.txt'
    o_list = open('moegirl_list.txt', mode='w')
    log = open('moegirl_log.txt', mode='w')
    i = 0
    global_total = 0
    with open(path) as f:
        line = f.readline()
        while line:
            global_total += 1
            i += 1
            print("==========================")
            print("正在处理第" + str(i) + "组数据")
            movie_name = line.strip()
            m = Movie(movie_name)
            movies = m.get_search(log, o_list)
            line = f.readline()
    print("==========================")
    end_time = time.time()
    print("处理完毕! 共处理" + str(global_total) + "条数据,共用时：" + str(end_time-start_time) + "s")

if __name__ == '__main__':
    main()

示例

输入txt文件如下：

image-20230620105900516

萌娘百科最大的问题就是访问速度极慢，导致很容易出现TimeoutError，或者爬虫处理速度极慢，挂机就完了

控制台输出结果如下：

image-20230620110821999

输出文件结果如下：

输出文件可能存在编码问题，直接“以GBK重新加载”即可

image-20230620110847264

image-20230620110934362

5.douban_info_get.py

基本内容与思路都与上面的相似甚至相同，所以这里我就不细讲了（打文章坐的屁股开始疼了）

导入库

import os.path
import re
import bs4
import time
import requests
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

Movie类初始化

与豆瓣一样

class Movie():
    def __init__(self, name):
        # 搜索url = 基础url + 名字
        self.name = name
        self.url = f'https://search.douban.com/movie/subject_search?search_text={name}'
        # 访问headers
        self.headers = 'User-Agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                       'Chrome/78.0.3904.108 Safari/537.36"'
        self.chrome_options = webdriver.ChromeOptions()
        self.chrome_options.add_argument('--headless')
        self.chrome_options.add_argument('--disable-gpu')
        self.chrome_options.add_argument(self.headers)
        self.path = Service('chromedriver.exe')
        self.browser = webdriver.Chrome(options=self.chrome_options, service=self.path)
        self.wait = WebDriverWait(self.browser, 10)

Movie方法1：找到页面url

# 获取搜索结果，以便进一步选择
def get_search(self, log):
    self.browser.get(self.url)
    try:response = self.wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, '.title > a')))
    except:
        TimeoutError
        print("没有搜到" + str(self.name))
        log.write(str(self.name) + "    " + "未搜索到词条\n")
    if response:
        # print('请选择:')
        movies = []
        name = response[0].text
        url = response[0].get_attribute('href')
        # print(f'{[i]}.{name}')
        movies.append([name, url])
        self.browser.close()
        print("查询到词条！")
        return movies
    else:
        print("没有搜到" + str(self.name))
        log.write(str(self.name) + "    " + "未搜索到词条\n")

这里用了EC.presence_of_all_elements_located，获取的是所有符合的元素放到了一个数组里，由于我们现在为了方便直接默认是第一个，所以后面就直接用response[0]。如果处理番剧数较少，我们可以在控制台输出前5个词条，手动选择正确的那个，可以提高数据正确率（有些番剧有第二季或者有剧场版，可能导致爬虫数据结果有问题）

看一下CSS，其实还有一些标签也符合class属性，但是他们子标签没有a标签

image-20230620112336782

拿到response，取数组第0位，也即是第一个词条，然后拿href属性内容，那个就是番剧在豆瓣里的对应页面的url

注意：movies.append([name, url])，我们是把一对数据作为整体存进movies数组里的，后面要考

Movie方法2：爬取信息

# 在影片详情页面提取影片基本信息
    def get_movie_info(self, movie, o_list, movie_name, log):
        name = movie[0]
        url = movie[1]
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'}
        resp = requests.get(url, headers=headers)
        try:
            if resp.status_code == 200:
                soup = bs4.BeautifulSoup(resp.text, 'html.parser')
                info = soup.find(name='div', attrs={'id': 'info'}).text
                # 1:导演
                # 2:编剧
                # 3:主演
                # 8:首播
                info_list = info.split('\n')
                rating = soup.find(name='div', attrs={'class': 'rating_self'})
                rating_num = rating.strong.text
                # 名字 时间 评分 导演 编剧 主演 豆瓣url 海报url
                o_list.write(movie_name + '\t' + rating_num + '\t' + info_list[1] + '\t' + info_list[2] + '\t' + info_list[3] + '\t' + url + '\t' + url + 'photos?type=R' + '\n')
                print("数据爬取成功！")
                picd = Picdown(url + 'photos?type=R')
                picd.download_pic(movie_name, log)
            else:
                return None
        except requests.exceptions:
            print(str(self.name) + "    " + "数据获取失败")
            log.write(str(self.name) + "    " + "数据获取失败\n")
            return None

name和url的提取就是我上面说的，因为我们存movies里的是一个数组，所以单个元素也是个数组，现在我们再把这个数组拆开，内容分开存储

通过BeautifulSoup得到response里面的内容，按照属性（id=info）查找div标签，然后返回

image-20230624121859003

我们再通过spilt拆分，即可得到各个信息

Picdown初始化

这个是用来爬取番剧相关图片的类，初始化与Movie同理，注意一下传入的url即可

def __init__(self, u):
    self.url = f'{u}'
    # 访问headers
    self.headers = 'User-Agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                   'Chrome/78.0.3904.108 Safari/537.36"'
    self.chrome_options = webdriver.ChromeOptions()
    self.chrome_options.add_argument('--headless')
    self.chrome_options.add_argument('--disable-gpu')
    self.chrome_options.add_argument(self.headers)
    self.path = Service('chromedriver.exe')
    self.browser = webdriver.Chrome(options=self.chrome_options, service=self.path)
    self.wait = WebDriverWait(self.browser, 10)

在进入番剧页面后，我们发现有个相关图片的url，而且规律是可以直接推出来的，我们就是要进那里下载图片。规律如下：picd = Picdown(url + 'photos?type=R')，其实url为番剧页面

image-20230624122143197

image-20230624122156840

Picdown方法：下载图片

def download_pic(self, name, log):
    url = self.url
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'}
    resp = requests.get(url, headers=headers)
    try:
        if resp.status_code == 200:
            soup = bs4.BeautifulSoup(resp.text, 'html.parser')
            pic_url_list = soup.find_all(name="img", src=re.compile('doubanio.com/view/photo'))
            i = 1
            fix_name = name.replace("/", " ")
            print(fix_name)
            if not os.path.exists("图库/" + str(fix_name)):
                try:
                    os.makedirs("图库/" + str(fix_name))
                except OSError:
                    print(name + "  " + "名称不合法")
                    log.write(name + "  " + "名称不合法\n")
                    return None
            for pic_url in pic_url_list:
                raw_pic_url = str(pic_url).replace('/m/', '/l/').split('\"')[1]
                r = requests.get(raw_pic_url, headers=headers)
                local = "图库/" + str(fix_name) + '/' + str(i) + ".jpg"
                f = open(local, 'wb')
                f.write(r.content)
                f.close()
                print("下载图片进度:" + str(i) + "/" + str(len(pic_url_list)))
                i += 1
            print("图片下载成功！")
            return None
    except requests.exceptions:
        print(name + "  " + "下载图片失败")
        log.write(name + "  " + "下载图片失败\n")
        return None

首先要得到所有图片的具体url

pic_url_list = soup.find_all(name="img", src=re.compile('doubanio.com/view/photo'))

我们查找name为img的标签，但是发现存在问题，因为还有一部分这类标签存的是用户头像我们不需要

image-20230624122713727

因此再使用src=re.compile让爬虫只查找含有doubanio.com/view/photo的内容，这样头像url因为不含有这个字符串而被筛选掉了

image-20230624122859516

后面下载前，我们把图片url中的/m/改成/l/，原因同理，这样的图片更大。其实还有个/r/(意思是raw，未处理图片)，但是这个图片url进入的时候会检测账号，影响脚本效率，所以不用。而且有时候l和r是一个尺寸

image-20230624123225144

主函数

def main():
    path = 'C:/Users/zaughter/Desktop/test.txt'
    o_list = open('douban_list.txt', mode='a', encoding='utf-8')
    log = open('douban_log.txt', mode='a', encoding='utf-8')
    i = 0
    global_total = 0
    start_time = time.time()
    with open(path) as f:
        line = f.readline()
        while line:
            global_total += 1
            i += 1
            print("==========================")
            print("正在处理第" + str(i) + "组数据")
            movie_name = line.strip()
            m = Movie(movie_name)
            movies = m.get_search(log)
            m.get_movie_info(movies[0], o_list, movie_name, log)
            line = f.readline()
    print("==========================")
    end_time = time.time()
    print("处理完毕! 共处理" + str(global_total) + "条数据,共用时：" + str(end_time-start_time) + "s")


if __name__ == '__main__':
    main()

完整代码

import os.path
import re
import bs4
import time
import requests
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

class Picdown():
    def __init__(self, u):
        self.url = f'{u}'
        # 访问headers
        self.headers = 'User-Agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                       'Chrome/78.0.3904.108 Safari/537.36"'
        self.chrome_options = webdriver.ChromeOptions()
        self.chrome_options.add_argument('--headless')
        self.chrome_options.add_argument('--disable-gpu')
        self.chrome_options.add_argument(self.headers)
        self.path = Service('chromedriver.exe')
        self.browser = webdriver.Chrome(options=self.chrome_options, service=self.path)
        self.wait = WebDriverWait(self.browser, 10)

    # 下载图片
    def download_pic(self, name, log):
        url = self.url
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'}
        resp = requests.get(url, headers=headers)
        try:
            if resp.status_code == 200:
                soup = bs4.BeautifulSoup(resp.text, 'html.parser')
                pic_url_list = soup.find_all(name="img", src=re.compile('doubanio.com/view/photo'))
                i = 1
                fix_name = name.replace("/", " ")
                print(fix_name)
                if not os.path.exists("图库/" + str(fix_name)):
                    try:
                        os.makedirs("图库/" + str(fix_name))
                    except OSError:
                        print(name + "  " + "名称不合法")
                        log.write(name + "  " + "名称不合法\n")
                        return None
                for pic_url in pic_url_list:
                    raw_pic_url = str(pic_url).replace('/m/', '/l/').split('\"')[1]
                    r = requests.get(raw_pic_url, headers=headers)
                    local = "图库/" + str(fix_name) + '/' + str(i) + ".jpg"
                    f = open(local, 'wb')
                    f.write(r.content)
                    f.close()
                    print("下载图片进度:" + str(i) + "/" + str(len(pic_url_list)))
                    i += 1
                print("图片下载成功！")
                return None
        except requests.exceptions:
            print(name + "  " + "下载图片失败")
            log.write(name + "  " + "下载图片失败\n")
            return None


class Movie():
    def __init__(self, name):
        # 搜索url = 基础url + 名字
        self.name = name
        self.url = f'https://search.douban.com/movie/subject_search?search_text={name}'
        # 访问headers
        self.headers = 'User-Agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                       'Chrome/78.0.3904.108 Safari/537.36"'
        self.chrome_options = webdriver.ChromeOptions()
        self.chrome_options.add_argument('--headless')
        self.chrome_options.add_argument('--disable-gpu')
        self.chrome_options.add_argument(self.headers)
        self.path = Service('chromedriver.exe')
        self.browser = webdriver.Chrome(options=self.chrome_options, service=self.path)
        self.wait = WebDriverWait(self.browser, 10)

    # 获取搜索结果，以便进一步选择
    def get_search(self, log):
        self.browser.get(self.url)
        try:response = self.wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, '.title > a')))
        except:
            TimeoutError
            print("没有搜到" + str(self.name))
            log.write(str(self.name) + "    " + "未搜索到词条\n")
        if response:
            # print('请选择:')
            movies = []
            name = response[0].text
            url = response[0].get_attribute('href')
            # print(f'{[i]}.{name}')
            movies.append([name, url])
            self.browser.close()
            print("查询到词条！")
            return movies
        else:
            print("没有搜到" + str(self.name))
            log.write(str(self.name) + "    " + "未搜索到词条\n")

    # 在影片详情页面提取影片基本信息
    def get_movie_info(self, movie, o_list, movie_name, log):
        name = movie[0]
        url = movie[1]
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'}
        resp = requests.get(url, headers=headers)
        try:
            if resp.status_code == 200:
                soup = bs4.BeautifulSoup(resp.text, 'html.parser')
                info = soup.find(name='div', attrs={'id': 'info'}).text
                # 1:导演
                # 2:编剧
                # 3:主演
                # 8:首播
                info_list = info.split('\n')
                rating = soup.find(name='div', attrs={'class': 'rating_self'})
                rating_num = rating.strong.text
                # 名字 时间 评分 导演 编剧 主演 豆瓣url 海报url
                o_list.write(movie_name + '\t' + rating_num + '\t' + info_list[1] + '\t' + info_list[2] + '\t' + info_list[3] + '\t' + url + '\t' + url + 'photos?type=R' + '\n')
                print("数据爬取成功！")
                picd = Picdown(url + 'photos?type=R')
                picd.download_pic(movie_name, log)
            else:
                return None
        except requests.exceptions:
            print(str(self.name) + "    " + "数据获取失败")
            log.write(str(self.name) + "    " + "数据获取失败\n")
            return None


def main():
    path = 'C:/Users/zaughter/Desktop/test.txt'
    o_list = open('douban_list.txt', mode='a', encoding='utf-8')
    log = open('douban_log.txt', mode='a', encoding='utf-8')
    i = 0
    global_total = 0
    start_time = time.time()
    with open(path) as f:
        line = f.readline()
        while line:
            global_total += 1
            i += 1
            print("==========================")
            print("正在处理第" + str(i) + "组数据")
            movie_name = line.strip()
            m = Movie(movie_name)
            movies = m.get_search(log)
            m.get_movie_info(movies[0], o_list, movie_name, log)
            line = f.readline()
    print("==========================")
    end_time = time.time()
    print("处理完毕! 共处理" + str(global_total) + "条数据,共用时：" + str(end_time-start_time) + "s")


if __name__ == '__main__':
    main()

示例

输入txt内容如下：

image-20230624123623922

控制台输出如下：

image-20230624123558158

生成txt如下：

image-20230624123656985

未出错，日志为空。

爬取图片如下：

image-20230624123813341

6.excel合并

思路与方法

  1. 基于bangumi得到的excel进行整理

image-20230624124455825

  1. 将两个爬虫得到的txt转换为excel

    1. image-20230624124700346

    2. image-20230624124711342

    3. 通过复制粘贴做成普通excel

      image-20230624124826025

  2. 目前我们有两个工作表：用户收藏+moegirl_list，前者为步骤1的，后者为步骤2中萌娘百科的

  3. 在用户收藏中新建一列用来保存萌娘百科地址的数据

    image-20230624125332966

  4. 对E2使用VLOOKUP函数

  5. 里面一共有4个参数，我们一个一个看

    1. Lookup_value（查找值）:用来关联两表的共同信息，这里我们是通过番名来关联的，所以选择A2

      image-20230624125526165

    2. Table_array（数据表）:要合并的那张表的目标数据，包括匹配列和目标数据列。我们这里切换到萌娘百科的那一个工作表，把所有内容圈上，意思是我们的共同项和对应的要合并的数据在这个范围内，系统自己去找

      image-20230624125717063

    3. Col_index_num（列序数）:指要合并的内容在第二个参数中选中的那一片数据的哪一列。它是以匹配列为基准计算的。我们最后要合并的是萌百工作表中的第二列那些地址，所以我们输入数字2

      image-20230624125931021

    4. Range_lookup（匹配条件）:最好理解的就是这个了，精确匹配：FALSE, 大致匹配：TRUE

    5. 最后匹配成功

      image-20230624130030361

      image-20230624130037644

  6. 快速处理其他行：我们直接拉动，发现函数出现了一些问题，我们看第二行的函数变成了：

    image-20230624130147694

    第一个值没问题，第二个值的范围变了，原来是红色区域，现在是蓝色区域

    image-20230624130257594

    然而这个值是不会变化的，所以我们直接对第一个函数进行修改，加上绝对符号$，然后再拉

    image-20230624130405693

    现在第二行的函数为：

    image-20230624130432871

    结束！

    成果展示

    image-20230624130653610

    结语

    不容易，终于写完了，当时写了一半沉迷游戏润了，回学校后给写完了。

    属于第一次为爱付出努力，感觉还是挺有意义的，期间学到了很多知识。

Zaughter
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于PythonGUI实现的Bangumi动画评分处理.zip
07-14
资源包含文件：方案设计报告word+结果分析报告word+答辩PPT+项目源码及数据 动画片在近年来的发展现状。 了解动画片具体讲述的主题，统计动画片在当季播出之后的观看情况 根据一部看过的动画片，分析与该动画片最相似的动画片。 根据用户所输入的动画片，搜索出对应动画片的相关信息 对于这四个问题，我大体上均采用了从网站上爬取数据->对数据进行清洗处理->对清洗后的数据进行可视化分析这样的方式进行解决。我选择用来获取的网站是国内最为权威的动画评分平台之一：Bangumi，在Bangumi上获得的数据相比其他平台更为真实准确，适合用来进行数据分析。 详细介绍参考：https://blog.csdn.net/sheziqiong/article/details/125783549
Python爬去樱花动漫 超简单
m0_59854878的博客
12-15 8673
没事干，就像爬爬樱花动漫 一，观察网页 樱花动漫有国漫，日漫，欧美，港台等分区，他们的网址有略微不同，类似于这样。 国漫:https://www.yhdmwz.com/gcdm.html 日漫:https://www.yhdmwz.com/rhdm.html 每个分区下面不止一页动漫，每页动漫地址也不一样，拿国漫举例，第一页: https://www.yhdmwz.com/gcdm_1.html 第二页: https://www.yhdmwz.com/gcdm_2.html 当然每个动漫的集数的地址也不一样
基于Python的Bangumi中动画片排行榜数据可视化分析
毕业作品网站
06-12 1680
整体动画的评分会发生一些小的波动，但大体维持在稳定的水平。通过词云图可以清楚的看出，对于《CLAS》许多人的评论主要集中在“人生”，“剧情”，“催泪”，“感动”，“亲情”上，说明这部作品可能是一部催泪作品，部分剧情非常令人感动，可能是关于一位动画人物的亲情故事，刻画了一个人物完整的人生，让很多人想到了自己。而对于《摇曳露营》，主要出现的词语有“露营”，“舒服”，“音乐”，“感觉”，“轻松”等，说明这部动画主要是一部悠闲的动画，因为和氛围非常令人舒服，让人感到放松，主要讲述的可能是主角们前去露营的故事。
bgmcli:非官方API和Python中Bangumi.tv的简单CLI
05-14
bgmcli ##非官方API和Python中Bangumi.tv的简单CLI ####注意：它仅支持Python 2.7，并且仅在OSX 10.10和Python 2.7.10上进行过测试 使用API​​的简单示例。 请注意，它目前仅适用于动漫合集 import codecs from bgmcli . api import BangumiSession # to mark subject id 253 as watched, rate it 8, and add a few tags with BangumiSession ( '[email protected]' , 'password' ) as session : coll = session . get_sub_collection ( '253' ) coll . c_status = 2 coll
Albireo:bangumi自动下载和管理项目
05-03
阿尔比雷奥 bangumi自动下载和管理项目这是后端部分。 动机 存在通过使用flexget定期解析rss feed从dmhy或其他bt站点自动下载bangumi的解决方案。 但是，随着bangumi数量的增加，该分辨率很难管理下载的文件。 因此，我编写该项目的方式与自动下载bangumi的方式相同，但是将下载的文件与bangumi.tv提供的信息相关联。 此外，该信息可用于更人性化的功能。 安装 要求：python 2.7，deluge（> = 1.3.13），postgresql 9.3及更高版本，ffmpeg，nodejs，python-imaging 依赖项： SQLAlchemy 1.0 psycopg2 烧瓶0.10 flask-login 0.0.3 PyYAML 扭曲的 提要分析器 service_identity 请求> 2.4.2 阿勒比比奇 subpr
使用Python爬取动漫网站的动漫介绍和评分
2201_76125393的博客
07-04 207
动漫作为一种受到广大观众喜爱的娱乐形式，有着丰富多样的题材和故事情节。通过使用Python编写爬虫程序，我们可以从动漫网站上获取动漫的详细介绍和评分信息，为动漫爱好者提供更多的了解和选择。本文将介绍如何使用Python编写爬虫程序，从动漫网站上提取动漫的介绍和评分，并提供相应的代码示例。
快速搭建一个全自动追番系统，从此追番快人一步
demo_top的博客
08-31 628
而这些没有国内资质的网站很容易倒闭，而且很多时候为了成本考虑他们会尽可能的压缩视频的画质，导致观看体验较差。目前出种速度上大部分都是巴哈上播放之后10分钟以内就有内嵌繁中的web源，而简中资源一般会1-7天内出，冷门番剧的话可能没有中文字幕。部署程序非常简单，我这里以2c2g的硅谷debian服务器作为演示，进入控制台，先登录指定服务器。服务器我这里选择的是腾讯云的轻量服务器。个人推荐是买海外地区的。输入服务器的 公网IP:7892进入webUI页面默认的用户名为：admin 密码为adminadmin，
Python爬虫动漫影片的介绍
m0_52423944的博客
10-25 755
1.需要导入的库2.向网页发起请求3.获取相关内容4.将相关数据写入excel中5.开始爬取和内容存储。
Python大作业-网络爬虫程序
XiuMu的博客
07-22 1万+
本文章介绍了一个Python大作业(课程设计)-网络爬虫程序，爬取“Bangumi-我看过的动画”，文章详细展示了程序功能及程序代码。
WebMagic爬虫入门教程（二）一个完整的爬取动漫之家的实例
大漠帝国的博客
10-31 6974
（一）前言 我的上一篇博客已经说明如何爬取某一个网页的动漫数据，这里重点说一下一个完整的爬虫实例。 和上一篇文章相比，多了的就是动画种类，日文名什么的。 推荐这个爬取博客的：http://blog.csdn.net/qq598535550/article/details/51287630 ...
基于Python的Bangumi中动画片排行榜数据可视化分析.zip
06-12
资源包含文件：方案设计word+结果分析word+答辩PPT+项目源码 针对动画片的发展现状问题，我在 Bangumi 中爬取了动画片历史排行榜的前 100 页，2400 条数据。对于数据进行清洗，将部分数据导演为空/评分为空/日文名为空的情况进行去除。对于为空的时候，除了评分均使用空替代，评分以均分替代，最终提取出的结果保存到 AnimeRanking.xlsx 中： 详细介绍参考：https://biyezuopin.blog.csdn.net/article/details/125243152
基于Python爬取Bangumi网站可视化分析ACG音乐发展.zip
06-16
在Bangumi网站中，动漫、游戏、音乐、小说等所有的作品都是由subject号码唯一标识的，所以第一步爬取的目标是音乐排行榜中所有音乐的subject号码用于访问每个音乐的页面，进而确定要爬取内容标签的相关信息。...
Python爬虫实战：爬取日漫新番数据
Rino_alice的博客
12-13 2630
爬取日漫新番数据
实战 | 1——python爬取某动漫网站（2）
he_spectacular的博客
07-30 3046
接上文《实战 | 1——python爬取某动漫网站（1）》，本内容实现m3u8转化MP4格式
油猴脚本+python：验证码识别辅助器
aimersong69的博客
08-06 1518
该脚本是一个适配油猴的用户脚本（UserScript），用于在鼠标放在验证码图片上时显示弹窗并提供识别选项。下面将介绍脚本的实现逻辑。
油猴天眼查公司链接获取（用油猴实现爬虫python版）
03-24 3168
使用方法 1.先书写油猴脚本 // ==UserScript== // @name 天眼查获取公司列表 // @namespace http://tampermonkey.net/ // @version 1.1 // @description try to take over the world! // @author You // @match https://www.tianyancha.com/search* // @require
热血动漫番太好看了！用Python爬取了1T的动漫，内存都爆了
热门推荐
五包辣条的博客
08-09 1万+
大家好，我是辣条。 最近被室友安利热血动漫番《终末的女武神》和《拳愿阿修罗》，太上头了周末休息熬夜看完了。不过资源不太好找，辣条一怒爬取了资源，这下可以看个够了。室友崇拜连连，想起了我的班花，快点开学，阿西吧... Python爬虫-vip动漫采集 效果展示 爬取目标 网站目标：樱花动漫 工具使用 开发工具：pycharm 开发环境：python3.7， Windows10 使用工具包：requests，lxml， re，tqdm 重点学习内容 正则的使用 tqdm的.
一个简单的Python樱花飘落动画代码
weixin_39302449的博客
04-08 6280
这个示例代码将在控制台中显示一个樱花飘落的动画效果，使用了 ANSI Escape Codes 来控制颜色。请注意，这段代码可能在某些操作系统上无法正常运行，因为不同的操作系统支持的 ANSI Escape Codes 可能不同。
【Python】Python中变量或者函数加下划线‘_‘的含义
最新发布
yangweipeng708的博客
05-14 666
理解这些约定可以帮助Python开发者编写更清晰、更Pythonic的代码，并理解其他Python代码中的命名习惯。）通常用来指示特定的编程约定或用法，这些约定主要关乎变量和函数的可访问性以及预期的使用范围。在Python中，变量或函数前面加一个下划线（
基于python爬取bangumi网站可视化分析acg音乐发展
09-26
基于Python爬取Bangumi网站进行ACG音乐发展的可视化分析，主要包括以下步骤： 1. 数据爬取：使用Python的爬虫工具(例如BeautifulSoup、Scrapy)从Bangumi网站上抓取相关ACG音乐的数据，包括歌曲信息、歌手、专辑、评分等。 2. 数据清洗：对爬取到的数据进行清洗，包括去除重复数据、处理缺失值、进行数据类型转换等。确保数据的准确性和一致性。 3. 数据分析：通过Python的数据处理和分析库(例如pandas、numpy)对清洗后的数据进行统计和分析。可以对不同属性的数据进行排序、筛选、聚合等操作。比如可以统计每年ACG音乐发行的数量，最受欢迎的歌曲、歌手等。 4. 可视化展示：使用Python的数据可视化库(例如matplotlib、seaborn)将分析结果以图表的形式展示出来。可以绘制柱状图、折线图、饼图等，直观地展示ACG音乐的发展趋势、热门歌曲、歌手人气等。 5. 结果解读：根据可视化结果，对ACG音乐的发展趋势进行解读。可以观察到音乐发行的数量是否有增长趋势，哪些类型的歌曲更受欢迎，以及不同歌手之间的竞争情况等。 通过以上步骤，基于Python爬取Bangumi网站进行ACG音乐发展的可视化分析将为我们提供直观、全面的数据信息，从而更好地了解ACG音乐的发展情况和趋势。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值