如何通过Scrapy制作爬虫

最新推荐文章于 2023-06-27 19:15:12 发布

q56731523

最新推荐文章于 2023-06-27 19:15:12 发布

阅读量290

点赞数

文章标签：爬虫 scrapy python 网页爬虫

本文链接：https://blog.csdn.net/weixin_44617651/article/details/127961446

版权

现阶段市面上有很多种编程语言，每一种语言都有他独有的优势，企业客户在做数据抓取的时候，如何通过Scrapy制作爬虫程序，下面的代码可以供大家参考下。

编写爬虫：

通过Scrapy爬虫语言框架制作一个爬虫程序

import scrapy
from tutorial.items import DmozItem
class DmozSpider(scrapy.Spider):
    name = 'dmoz'
    allowed_domains = ['dmoz.org']
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]
    def parse(self, response):
        sel = Selector(response)
        sites = sel.xpath('//ul[@class="directory-url"]/li')
        for sel in sites:
            item = DmozItem() # 实例化一个 DmozItem 类
            item['title'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()
            item['desc'] = sel.xpath('text()').extract()
            yield item

爬虫爬取：
首先输入命令，然后执行需要采集的目标网站

#! -*- encoding:utf-8 -*-
        import base64            
        import sys
        import random

        PY3 = sys.version_info[0] >= 3

        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                input_bytes = bytes_or_str.encode('utf8')
            else:
                input_bytes = bytes_or_str

            output_bytes = base64.urlsafe_b64encode(input_bytes)
            if PY3:
                return output_bytes.decode('ascii')
            else:
                return output_bytes

        class ProxyMiddleware(object):                
            def process_request(self, request, spider):
                # 代理服务器(网站 jshk.com.cn)
                proxyHost = "jshk.com.cn"
                proxyPort = "31111"

                # 代理验证信息
                proxyUser = "username"
                proxyPass = "password"