Python3网络爬虫:爬取漫画

最新推荐文章于 2024-08-08 14:38:54 发布
最新推荐文章于 2024-08-08 14:38:54 发布
阅读量2.6k 收藏 9
点赞数 3
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/igsove/article/details/104476195
版权

因为疫情在家里闲着没事做,学习python写了一个爬虫如下

代理ip列表文件:AgencyIP.txt
138.197.165.239:8080
142.93.126.22:8080
142.93.0.203:3128
下一个文章写怎么爬取漫画代理ip
爬取免费代理ip

使用随机 UA

user_agent = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
]

# user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
headers = {
    'User-Agent': random.choice(user_agent)
}

后面这种需要先下载: fake_useragent

from fake_useragent import UserAgent
   ua = UserAgent()
   requestHeader = {
            'User-Agent': ua.random
   }

#读取代理ip配置文件

# 随机选择列表中的字典，直到匹配上可以使用的ip
txtPath ="AgencyIP.txt"
def GetIPList():
    f = open(txtPath, "r")
    data = []
    for line in f:  # 设置文件对象并读取每一行文件
        line = line[:-1]
        dic = {'http': line}

        data.append(dic)
    f.close()
    # print(data)
    return data

requests.get的封装

判断获取是否成功: page.status_code //状态码
page.status_code = 200则成功

time.sleep()
python自带time模块的休眠功能
需要导入
import time

def getPage(url,header='',proxies=''):
    try:

        random.randint(1,3)  # 用python自带time模块的休眠功能

        iplist = GetIPList()

        ua = UserAgent()
        requestHeader = {
            'User-Agent': ua.random
        }
        # 填写代理地址
        proxy = random.choice(iplist)
        page = requests.get(url, headers=requestHeader, proxies=proxy, timeout=30)
        print(proxy)
        if (page.status_code != 200):
            print("网络错误正在等待!!!")
            while 1:

                # 填写代理地址
                proxy = random.choice(iplist)
                time.sleep(5)
                page = requests.get(url, headers=headers, proxies=proxy, timeout=30)
                if (page.status_code == 200):
                    print("成功获取网页!!")
                    break
                else:
                    print("获取网页失败!!等待继续重新获取!")

        return page
    except:
        print(page.status_code)
        return ""

获取网页转换编码

这里做网页源码的编码加工

#获取网页源码
def getHTML(url):
    try:

        r = getPage(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text

    except:
        print(r.status_code)
        print('gethtml_error')
        return ""

先在一个章节里获取全部图片链接

这里比较坑的是，浏览器里面F12看的时候是这样的，就直接写代码了查找
结果不管怎么查找都查找不到，开始怀疑正则表达式问题
在这里插入图片描述
然后不停print 找问题
发现抓取的网页代码中真的不存在图中红框中的代码
在这里插入图片描述
开始怀疑是不是动态生成的,刚开始学python打算写个简单的,就找了这么个相对看起来简单的网站,
结果这是一上来就给我上高难度的菜吗,难是难了,反正我也闲,今天跟你杠上了
上百度找文章,看了半天也没有进展,要不就是不合适,要不就是太难了,好比1米大刀拿来削指甲
我能吐血了!
还是继续浏览器里F12,使用Fidder抓包查看
在这里插入图片描述
在这里插入图片描述
这个js函数名称引起了我的注意,点击进去
Js源码如下,看起来好像是 点击按钮才生成下一个图片地址


    function showImage(page) {
        //根据page获取图片地址
        if (page == undefined && getChapterScroll()) {
            chapter.scrollStart = getPage();
        }
        page = page || getPage();
        var imgUrl = SinMH.getChapterImage(page);
        var imgStr = '<img src="' + imgUrl + '" data-index="' + page + '"/>';
        var imgInfo = '<p class="img_info">(' + page + '/' + SinMH.getChapterImageCount() + ')</p>';
        var loading = $('#imgLoading');
        loading.show();
        if (getChapterScroll()) {
            chapter.imageList.append(imgStr);
        } else {
            $("#page").text(page);
            chapter.imageList.html(imgStr);
        }
        var lastObj = chapter.imageList.find('img').last();
        lastObj.hide();
        var showAndPreload = function () {
            lastObj.show();
            loading.hide();
            if (chapter.scrollStart > 1) {
                chapter.imageList.prepend('<p><a href="javascript:SinMH.chapterReload()" >查看完整章节</a></p>');
                chapter.scrollStart = 0;
            }
            SinMH.getChapterImageCount() > 0 && chapter.imageList.append(imgInfo);
            renderPageSelect(SinMH.getChapterImageCount(),chapter.currentIndex,'.pageSelect');
            preloadImage();
        };
        if (getChapterAutoSize()) {
            lastObj.imgAutoSize(chapter.imageList.width(), 0, function () {
                showAndPreload();
            });
        } else {
            $.preLoadImg(imgUrl, function () {
                showAndPreload();
            });
        }

    }

F12看HTML源码的script中出现了比较让人感兴趣的东西.
var chapterImagesshuzh
var chapterPath
例:https://res.xiaoqinre.com/images/comic/123/244953/1512990454Oy96QbmOEIO_NL2R.jpg
可看成三段
1: https://res.xiaoqinre.com/
2: images/comic/123/244953/
3: 1512990454Oy96QbmOEIO_NL2R.jpg

<script>
;var siteName = "";var siteUrl = "https://www.gufengmh8.com";;var chapterImages = ["1512990451xQbK-tMVcpYvvW-Q.jpg","1512990453c0RNuvuhKMRfy_Mt.jpg","1512990454Oy96QbmOEIO_NL2R.jpg","1512990455z5eemhDedrAWj7DJ.jpg","1512990456nQKlABXzA-7hk3U2.jpg","1512990458UWSPTY4isZA0Le-5.jpg","1512990459rL2yAqtQ5JoagL5x.jpg"];
var chapterPath = "images/comic/123/244953/";
var pageTitle = "堕玄师序章在线观看";
var comicUrl = "https://www.gufengmh8.com/manhua/duoxuanshi/";
var pageUrl = "https://www.gufengmh8.com/manhua/duoxuanshi/";
var pageImage = "https://res.xiaoqinre.com/images/cover/201712/1513565570IVbMltgdBGcHMO3f.jpg";var pageDomain = "https://www.gufengmh8.com";var pageId = "comic.7099";
var prevChapterData ={"id":null,"comic_id":null,"comic_name":null,"status":null,"vip":null,"is_end":null,"name":null,"type":null,"rtl":null,"image_mode":null,"category":null,"link":null,"link_name":null,"image_type":null,"count":null,"sort":null,"price":null,"created_at":null,"updated_at":null};var nextChapterData = {"id":245852,"comic_id":7099,"comic_name":"堕玄师","status":1,"vip":0,"is_end":0,"name":"第1话 九荒镜","type":0,"rtl":0,"image_mode":0,"category":1,"link":"","link_name":"","image_type":8,"count":33,"sort":999,"price":0,"created_at":1513408087,"updated_at":1513408131};
</script>

代码顺利完成

#获取当前章节的图片地址列表返回
def getImagelist(url):
    html = getHTML(url)
    soup = BeautifulSoup(html, 'lxml')

    # title = soup.select('body > script')[0]
    laterbody = soup.find('body')
    try:
         title = laterbody.find('script')
    except:
        print(laterbody)
    # print(html)
    #获取每部中间变动的地址
    imgPathRe = re.compile('chapterPath.*?".*?"')
    #图片名称
    imgPathchar = imgPathRe.findall(str(title))#['"1574474397PEkNn-r1a038oGyx.jpg"', '"1574474396fO6jANuAPUich78W.jpg"'...
    pathArray = imgPathchar[0].split('=')
    path = pathArray[1].replace('"','').replace(' ','')#images/comic/568/1135637/
    #拼接地址
    path = 'https://res.xiaoqinre.com/'+path

    print(path)
    #获取图片名称列表
    listre = re.compile('("\d.*?jpg")')
    namelist=listre.findall(str(title))
    print(namelist)
    _list =[]
    #拼接完整地址
    for name in namelist:
        name = name.replace('"','')
        s = path + name
        # print(s)
        _list.append(s)
    print(_list)
    return _list

获取每个章节链接

不得不说python的库真强大
BeautifulSoup 简直是爬虫的神器之一

#获取目录
def getCatalog(url):
    html = getHTML(url)
    soup = BeautifulSoup(html, 'lxml')
    # laterbody = soup.find('body')
    perentdiv = soup.find('ul',attrs={'id':'chapter-list-1'}).find_all('a')

    # print(perentdiv)
    catlist = []
    for a in perentdiv:
        p = a['href']
        p ='https://www.gufengmh8.com'+p
        # print(p)
        catlist.append(p)
    return catlist

全部代码如下

import re
import time
import random 

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
#针对古风漫画网抓取
#https://www.gufengmh8.com/
user_agent = [
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
]

# user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
headers = {
    'User-Agent': random.choice(user_agent)
}
# 随机选择列表中的字典，直到匹配上可以使用的ip
txtPath ="AgencyIP.txt"
def GetIPList():
    f = open(txtPath, "r")
    data = []
    for line in f:  # 设置文件对象并读取每一行文件
        line = line[:-1]
        dic = {'http': line}

        data.append(dic)
    f.close()
    # print(data)
    return data


def getPage(url,header='',proxies=''):
    try:

        random.randint(1,3)  # 用python自带time模块的休眠功能

        iplist = GetIPList()

        ua = UserAgent()
        requestHeader = {
            'User-Agent': ua.random
        }
        # 填写代理地址
        proxy = random.choice(iplist)
        page = requests.get(url, headers=requestHeader, proxies=proxy, timeout=30)
        print(proxy)
        if (page.status_code != 200):
            print("网络错误正在等待!!!")
            while 1:

                # 填写代理地址
                proxy = random.choice(iplist)
                time.sleep(5)
                page = requests.get(url, headers=headers, proxies=proxy, timeout=30)
                if (page.status_code == 200):
                    print("成功获取网页!!")
                    break
                else:
                    print("获取网页失败!!等待继续重新获取!")

        return page
    except:
        print(page.status_code)
        print('ssssss')
        return ""
#获取网页源码
def getHTML(url):
    try:

        r = getPage(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text

    except:
        print(r.status_code)
        print('gethtml_error')
        return ""
#获取当前章节的图片地址列表返回
def getImagelist(url):
    html = getHTML(url)
    soup = BeautifulSoup(html, 'lxml')

    # title = soup.select('body > script')[0]
    laterbody = soup.find('body')
    try:
         title = laterbody.find('script')
    except:
        print(laterbody)
    # print(html)
    #获取每部中间变动的地址
    imgPathRe = re.compile('chapterPath.*?".*?"')
    #图片名称
    imgPathchar = imgPathRe.findall(str(title))#['"1574474397PEkNn-r1a038oGyx.jpg"', '"1574474396fO6jANuAPUich78W.jpg"'...
    pathArray = imgPathchar[0].split('=')
    path = pathArray[1].replace('"','').replace(' ','')#images/comic/568/1135637/
    #拼接地址
    path = 'https://res.xiaoqinre.com/'+path

    print(path)
    #获取图片名称列表
    listre = re.compile('("\d.*?jpg")')
    namelist=listre.findall(str(title))
    print(namelist)
    _list =[]
    #拼接完整地址
    for name in namelist:
        name = name.replace('"','')
        s = path + name
        # print(s)
        _list.append(s)
    print(_list)
    return _list





#图片地址列表   保存路径   当前的章节数  图片索引
def down_pic_list(pic_urls,savePath ,loadIndex=0):
    """给出图片链接列表, 下载所有图片"""
    nowIndex = 0
    for pic_url in pic_urls:
        nowIndex += 1
        if(nowIndex < loadIndex):
            continue
        try:
            pic = getPage(pic_url)
            print(pic)
            print(pic.status_code)
            string = savePath + str(nowIndex) + '.jpg'
            with open(string, 'wb') as f:
                f.write(pic.content)
                print('成功下载第%s张图片: %s' % (str(nowIndex ), str(pic_url)))
        except Exception as e:
            print('下载第%s张图片时失败: %s' % (str(nowIndex ), str(pic_url)))
            print(e)
            continue



#图片地址   保存路径   当前的章节数
# def down_pic(pic_urls,savePath,index):
#     for pic_url in pic_urls:
#         try:
#             pic = getPage(pic_url)
#             print(pic.status_code)
#             string = savePath + str(index) + '.jpg'
#             with open(string, 'wb') as f:
#                 f.write(pic.content)
#                 print('成功下载第%s张图片: %s' % (str(index), str(pic_url)))
#         except Exception as e:
#             print('下载第%s张图片时失败: %s' % (str(index), str(pic_url)))
#             print(e)
#             continue

#获取目录
def getCatalog(url):
    html = getHTML(url)
    soup = BeautifulSoup(html, 'lxml')
    # laterbody = soup.find('body')
    perentdiv = soup.find('ul',attrs={'id':'chapter-list-1'}).find_all('a')

    # print(perentdiv)
    catlist = []
    for a in perentdiv:
        p = a['href']
        p ='https://www.gufengmh8.com'+p
        # print(p)
        catlist.append(p)
    return catlist


imagUrlPath = "ImageUrl.txt"
def main():
    #需要抓取漫画的目录页网址
    url = 'https://www.gufengmh8.com/manhua/woweicangsheng/'
    #图片保存位置
    savePath = r'C:\Users\11975\Desktop\AnimeTest/'

    catlist = getCatalog(url)
    loadIndex = 0
    imageList = []

    #
    # for caturl in catlist:
    #     print(caturl)
    #     #
    #     for img in getImagelist(caturl):
    #         loadIndex+=1
    #         print(img+'   '+str(loadIndex))
    #         imageList.append(img)
    #         with open(imagUrlPath, "a") as file:  # 只需要将之前的”w"改为“a"即可，代表追加内容
    #              file.write(str(img) + "\n")
    #         file.close()

    f = open(imagUrlPath, "r")
    for line in f:  # 设置文件对象并读取每一行文件
        line = line[:-1]
        imageList.append(line)
    f.close()
    down_pic_list(imageList,savePath)


main()
igsove
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
用python爬取漫画！
weixin_49669074的博客
05-25 5481
Hi~ 大家好！ 今日教大家用Python爬取某网站的全部漫画，让你想看什么漫画就看什么漫画！本文代码量有的多，请耐心看完！如果不想看分析网页，可拉取到爬取思路和实现代码区域，查看基本思路和代码！经过作者测试，测试过的漫画都可以下载！本文图片以及文本仅供学习、交流使用，要想获得更好的体验，请支持正版！ 本文完整代码见文末！ 分析网页 受害者： https://www.kanman.com/sort/ 漫画其实是一张一张图片来着，所以我们先找到这些图片的链接在哪里！因为本文是为了实现想看什么漫画就爬取什么漫
Python爬虫 JS 案例讲解：爬取漫画
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
09-24 831
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 以下文章来源于Python爬虫案例，作者麦自香 转载地址 https://blog.csdn.net/fei347795790?t=1 由于今天涉及的内容颇多，还请各位看官搬上小板凳，带上香瓜子，慢慢细品，话不多说，第一步还是上链接，作为我们的目标网站，首先把链接贴出来，如下： https://ac.qq.com/ 由于最终的目的是为了爬取漫画的内容页，所以开门见.
Python爬虫：用Scrapy框架爬取漫画（附源码）
wulishinian的博客
05-21 2036
scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。关于框架使用的更多详情可浏览官方文档，本篇文章展示的是爬取漫画图片的大体实现过程。 Scrapy环境配置 首先是 scrapy 的安装，博主用的是Mac系统，直接运行命令行： pip install Scrapy对于html节点信息的提取使用了 Beautiful Soup 库，大概的用法可见之前的一篇文章，直接通过命令安装： pip install beautifulsoup4对于目标网页的 Beautiful Soup 对象初始化需要
python爬取漫画
weixin_45826090的博客
11-19 1310
python爬取漫画“正后方的神威” 在QQ看点上看到的一部漫画，正好最近对爬虫比较感兴趣，还没处理过图片的下载，所以想试一下。废话不多说，直接上源码： import os,base64 import requests import re from PIL import Image from io import BytesIO # 第一话漫画地址 url = "https://rimanb.com/chapter/54717" # 图片编号 i=1 # 得到网页源码 req = req
Python爬取漫画（详细教程）
最新发布
Python_trys的博客
08-08 435
最后这里给大家免费分享一份Python学习资料，包含了视频、源码、课件，希望能够帮助到那些不满现状，想提示自己却又没用方向的朋友，也可以和我一起来交流呀！(3)、找到加载网页的源码文件，点击Headers，如下图： Status Code表示网页返回的代码，值为200时表示访问成功。(5)、将html代码存入 data 中，xpath定位每一章链接。(2)、按F12打开此网页的源码（谷歌浏览器），选中上方NetWork，Ctrl+R刷新。编辑资料、学习路线图、源代码、软件安装包等！
Python爬虫：爬取网页内容
06-28
python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例python爬虫案例...
python作业：爬虫爬取京东评论
07-07
Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取...
python爬虫：爬取某音乐平台的音乐
11-10
是这样的一个网站，在上面可以免费下载音乐，但是每次下载音乐，需要到微信上找到对应公众号获取验证码验证一下，小编觉得这比较繁琐，于是写了一个程序，简化这个操作而已。
python 爬虫实战案例：爬取网易云音乐评价 源码
04-30
本实战案例将展示如何使用Python编写一个简单的网络爬虫，用于爬取网易云音乐上的歌曲评价。案例将涉及发送HTTP请求、解析网页内容以及数据提取的基本技术。 适用人群 编程初学者：希望通过实际项目学习网络爬虫的...
python爬虫：爬取新浪新闻数据
01-20
我们可以试试爬取新浪新闻首页,我们发现会返回403 ,因为对方服务器会对爬虫进行屏蔽。此时,我们需要伪装成浏览器才能爬取。 1.实战分析： 浏览器伪装一般通过报头进行： 打开某个网页，按F12—Network— 任意点一个...
python爬虫爬取漫画（仅供学习）
qq_38786335的博客
02-04 1万+
项目名： crawl_chuanwu 爬取链接：https://www.manhuadui.com/manhua/chuanwu/ 声明：本项目无任何盈利目的，仅供学习使用，也不会对网站运行造成负担。 1. 打开链接后，我们会看到这样的图片 3. 每个章节都是一个link，我们需要获得这些链接，直接右击检查网页源代码，我们能找到每个章节的url,很幸运，这个不是动态网页（ajax:异步 Jav...
Python爬虫实战，requests+tqdm模块，爬取漫画数据（附源码）
Modeler_xiaoyu的博客
12-12 1178
今天给大家介绍的是Python爬取漫画数据，在这里给需要的小伙伴们代码，并且给出一点小心得。
Python爬取古风漫画网
艾渃曼の博客
07-13 2660
#!/user/bin/python # -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup from urllib import request import time import os from concurrent.futures import ThreadPoolExecutor # 初始化环境 r...
Python3网络爬虫：爬取漫画
Galaxy__42的博客
07-23 5006
那个网站漫画爬不到了，等有时间换个网站爬。           1、前言     本文使用了requests、bs4、os库与自动化测试工具Selenium。     Selenium安装详情请看     https://germey.gitbooks.io/python3webspider/content/1.2.2-Selenium%E7%9A%84%E5%AE%89%E8%...
python爬取web漫画网站_python爬取漫画
weixin_39616071的博客
11-30 166
#-*- coding: utf-8 -*-importreimporturllibimporturllib2importosimportstatimportitertoolsimportreimportsysimportrequestsimportjsonimporttimeimportsocketimporturlparseimportcsvimportrandomfrom datetime ...
Python爬取腾讯动漫全站漫画详细教程（附带源码）
热门推荐
人生苦短， 还不用Python？
05-18 1万+
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者：merlin& 操作环境 编译器：pycharm社区版 python 版本：anaconda python3.7.4 浏览器选择：Google浏览器 需要用到的第三方模块：requests , lxml , selenium , time , bs4,os 网页分析 明确目标 首先我们打开腾讯动漫首页，分析要抓取的目标漫画。 找到腾讯动漫的漫画目录页，简单看了一
python网页爬虫漫画案例_利用python3爬虫爬取漫画岛-非人哉漫画
weixin_39910481的博客
11-23 524
最近学了一点点python爬虫的知识，面向百度编程爬了一本小说之后感觉有点不满足，于是突发奇想尝试爬一本漫画下来看看。一、效果展示网页截图：其次是爬取下来的效果：每一回的文件夹里面是这样的： (因为网站图片的问题...所以就成了这个鬼样子)二、分析原理1、准备：需要vscode或者其他能够编译运行python的软件，推荐python版本3.X ，否则有可能出现编译问题。下载所需模块：win+R ...
Python练习-爬取并下载漫画
qq_48772498的博客
01-07 5026
随着大数据时代的到来，人们已经不能满足于平时的活动，转而去寻求虚拟世界的快感，而漫画就是其中一种，但是在网站上看漫画广告太多且不能下载，十分影响体验，所以我利用python来爬取并下载漫画来方便人们观看。 1.导入相应所需要的包。 import os import requests from bs4 import BeautifulSoup import re import random 2.定义多个头文段和ip地址，访问时随机生成，防止ip被封。 headers = [ "Mozill
宅男福利：Python爬取某站所有漫画（赶紧收藏）
顾木子吖的博客
08-21 5934
导语 ​​​漫画台小科普：​​​ 是国内领先的原创漫画阅读平台,拥有斗罗大陆、花千骨、斗破苍穹、血族禁域、绝世唐门、穿越西元3000后、妃夕妍雪等一大批的优秀国产漫画。看国漫来漫画台!！ ​​​ 漫画台APP涵盖超全分类，国漫、日漫、港台、美漫任你选。热血、霸总、耽美、校园、搞笑……等多种类型满足各位小主不同口味。专属漫画最有爱男神\/女神漫画分区看，选择最爱分类漫画，编辑每日精选推荐！这款分享是免费看漫画的软件了，是可以正常使用的。 ​​​ 看漫画不能绝对绝对不能错过的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值