快速构建Scrapy项目脚手架

  • 第一步:下载并安装python3.9 
  • 第二步:下载并安装Anaconda
  • 第三步:安装scrapy(安装也可通过:pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
conda install -c conda-forge scrapy
scrapy startproject 项目名称
  • 第五步:创建一个爬虫::在项目根路径下:(建议去掉限制域,他过滤掉很多url...会出现parse不生效的假象)
scrapy genspider 爬虫名称 要爬取的限制域
  • 第六步:启动爬虫:
scrapy crawl 爬虫名称
  • 将settings.py文件中反爬限制改为False
  • 第七步:调试爬虫:在根路径下新建文件main.py,内容如下:修改一下爬虫名称即可

from scrapy.cmdline import execute
import os
import sys
 
if __name__ == '__main__':
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(['scrapy', 'crawl', '爬虫名称'])
  • 第八步:IP代理中间件:打开middlewares.py文件添加一个中间件
# 配置IP代理
class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = get_proxy_ip_free() #这是我封装好的一个工具,该方法能获取代理IP和端口
import urllib.request
import json
import requests

# 阿里云IP代理
def get_proxy_ip():
    host = 'http://zip.market.alicloudapi.com'
    path = '/devtoolservice/ipagency'
    method = 'GET'
    appcode = 'sdfasdfsdfsdfsdfsdffd'
    querys = 'foreigntype=0&protocol=0'
    bodys = {}
    url = host + path + '?' + querys

    request = urllib.request.Request(url)
    request.add_header('Authorization', 'APPCODE ' + "dfgcccccfgdfg2dfgg")
    response = urllib.request.urlopen(request)
    content = response.read()
    if (content):
        load = json.loads(str(content, encoding='utf8'))
        address_ = load['result'][0]['address']
        return address_

# 自己搭建的代理服务器
def get_proxy_ip_free():
    json_result = requests.get("http://xxx.xxx.xxx.xxx:8080/get/").json()
    return 'http://' + json_result['proxy']

打开settings.py文件开启中间件即可生效.

  • 第九步:UserAgent中间件:采用了fake_useragent库
pip install fake-useragent
pip install -U fake-useragent

这个库很容易就报错了解决方法如下:下载文件fake_useragent_0.1.11.json放到项目中,然后copy一下绝对地址

 打开middlewares.py文件,配置代理如下

from fake_useragent import UserAgent

location = r"D:\biantu\biantuscrapy\biantuscrapy\spiders\fake_useragent_0.1.11.json" #配置成刚刚copy的地址


# 配置headers
class RandomUserAgentMidddlware(object):
    # 随机更换user-agent
    def __init__(self, crawler):
        super(RandomUserAgentMidddlware, self).__init__()

        self.ua = UserAgent(path=location)
        # 从配置文件读取随机类型
        self.ua_type = crawler.settings.get('RANDOM_UA_TYPE', 'random')

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_request(self, request, spider):
        # 通过配置文件的随机类型进行调用
        def get_ua():
            return getattr(self.ua, self.ua_type)

        request.headers.setdefault('User-Agent', get_ua())

打开settings.py文件开启中间件即可生效.

第十步:捕获ajax请求:安装selenium 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文子阳

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值