Python之Scrapy爬虫实战--爬取妹子图

1、前言

反正闲着也是闲着,不如来学习啊!

2、关键代码

新建项目

不会的同学可参考我的另一篇博文,这里不再赘述:Python之Scrapy爬虫实战–新建scrapy项目

这里只讲一下几个关键点,完整代码在文末。

由于爬取的网站有反爬,一开始没绕过反爬,很快就被封了ip,
然后就在代码里加了些反反爬措施。

设置随机UA

在middlewares.py中自定义Middleware

class RandomUserAgentMiddleware(object):
    def process_request(self, request, spider):
        request.headers.setdefault("User-Agent", UserAgent().random)

settings.py

DOWNLOADER_MIDDLEWARES = {
   'scrapy_test.middlewares.RandomUserAgentMiddleware': 543,
}

设置代理ip

这里大家可参考我的另一篇博文:Python之Scrapy爬虫实战–绕过网站的反爬

使用ImagesPipeline下载图片

pipelines.py

class MzituImgDownloadPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        default_headers = {
            'referer': 'https://www.mzitu.com/',
        }
        yield Request(item['image_urls'], headers=default_headers, meta={"item_category": item['category'],
                                                                         "item_url": item['image_urls']})

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        return item

然后到settings.py中启用MzituImgDownloadPipeline

ITEM_PIPELINES = {
   'scrapy_test.pipelines.MzituImgDownloadPipeline': 300,
}

顺便设置下图片存储路径

#下载图片存储位置
IMAGES_STORE = 'F:\\mzitu'

实现快速分类存储图片

关于如何实现分类存储,一开始在网上找了一下,感觉都8太行?
通过阅读源码,发现重写file_path方法就可以快速实现图片的分类存储,这样爬取不同主题下的图片就会存放在不同文件夹了。

pipelines.py

def file_path(self, request, response=None, info=None):
        category = request.meta['item_category']
        image_guid = request.meta['item_url'].split('/')[-1]
        return '%s/%s' % (category, image_guid)

3、效果图

爬取的图片都是正经图哈!
效果图

4、结尾

此项目只做学习交流使用,欢迎大家留言讨论!
完整的代码都放在GitHub了,感兴趣的朋友可以看看,帮忙star一下呗,感谢⊙∀⊙!

https://github.com/chenmg2020/scrapy_mzitu

欢迎大家PR

  • 8
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
抱歉,我是AI语言模型,无法提供封装好的python代码,但是我可以提供Scrapy微博爬虫的基本思路和代码示例: Scrapy微博爬虫的基本思路: 1. 登录微博 2. 根据关键词搜索微博,获取微博列表 3. 遍历微博列表,提取微博的相关信息,如微博ID、微博内容、发布时间、点赞数、转发数、评论数、作者信息等 4. 如果有下一页,则继续爬取下一页的微博列表,重复2-3步骤 5. 将提取的微博信息保存到本地或远程数据库中 Scrapy微博爬虫的代码示例: 1. 在命令行中创建一个Scrapy项目: scrapy startproject weibo 2. 在weibo/spiders目录下创建一个名为weibospider.py的爬虫文件: import scrapy from scrapy.http import Request class WeiboSpider(scrapy.Spider): name = "weibo" allowed_domains = ["weibo.com"] start_urls = [ "https://weibo.com/" ] def start_requests(self): login_url = 'https://login.weibo.cn/login/' yield Request(url=login_url, callback=self.login) def login(self, response): # 在这里实现微博登录的逻辑 # ... # 登录成功后,调用parse方法开始爬取微博 yield Request(url=self.start_urls[0], callback=self.parse) def parse(self, response): # 在这里实现根据关键词搜索微博的逻辑 # 从搜索结果页面获取微博列表 # ... # 遍历微博列表,提取微博的相关信息 for weibo in weibo_list: weibo_id = weibo.get('id') weibo_content = weibo.get('content') publish_time = weibo.get('publish_time') likes = weibo.get('likes') reposts = weibo.get('reposts') comments = weibo.get('comments') author = weibo.get('author') # 将提取的微博信息保存到本地或远程数据库中 # ... # 如果有下一页,则继续爬取下一页的微博列表 next_page = response.xpath('//a[text()="下一页"]/@href').extract_first() if next_page: yield Request(url=next_page, callback=self.parse) 3. 在命令行中运行爬虫scrapy crawl weibo 以上是一个简单的Scrapy微博爬虫示例,具体实现需要根据实际情况进行调整和完善。
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值