爬虫小白学习日记（二）

已于 2024-04-13 18:04:23 修改
阅读量775 收藏 5
点赞数 19
分类专栏： 爬虫 文章标签： 爬虫 学习
于 2024-04-09 16:31:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jumping_Pig/article/details/137463350
版权

学习目标：

  • 学习urlliib库基本操作

学习内容：

一、urllib库下载源码、图片、视频

爬取百度网页的源代码：
下面展示一些

# 导入所需要的库
import urllib.request

# 目标地址
url="http://www.baidu.com"

# 模拟浏览器向服务器发送请求
response=urllib.request.urlopen(url)

#获取源代码（注意要查看网页的编码格式，如下图解释）
content=response.read().decode("utf-8")

# 打印网页的源代码
print(content)

获取源代码的编码格式，用来解析源码
在这里插入图片描述

1. 爬取源码

# -------------------------------目标地址-------------------------------
url_page="http://www.baidu.com"

# -------------------------------模拟浏览器向服务器发送请求将数据下载到本地-------------------------------
urllib.request.urlretrieve(url_page,"baidu.html") #第一个参数表示抓取目标地址  第二个参数表示保存到本地“./baidu.html"文件中 【该段意思为保存百度源码到本地】
# urlretrieve()方法直接将远程数据下载到本地

2. 爬取图片

# --------------------------------下载图片------------------------------
url_img="https://dss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/topnav/newxueshuicon-a5314d5c83.png"
urllib.request.urlretrieve(url_img,'xuesu.jpg')

3. 爬取视频
参考链接：https://blog.csdn.net/Angry_Mills/article/details/82705595
以爬取视频目标网页为例子
在这里插入图片描述
src属性为 src=“blob:https://open.gaodun.com/b9d3366f-87ef-4328-9d97-31110de519a1”
但是复制打开该链接找不到视频内容 无法进行爬取

分析原因：
网页隐藏了真实的视频链接防止恶意爬取策略

解决方案：
找真实地址，利用抓包工具 打开XHR
XHR的定义

二、urllib定制请求头

对于编写爬虫过程中，有一些网站会有设置反爬机制：对于非浏览器的访问拒绝响应；或短时间频繁爬取会触发网站的反爬机制，导致 ip 被封无法爬取网页。这就需要在爬虫程序中修改请求的 headers 伪装浏览器访问，或者使用代理发起请求。从而绕开网站的反爬机制获取正确的页面。

#------------------------------利用urllib库模拟请求头信息--------------------------------------------
url="https://www.baidu.com"

# 定制我们的请求头信息 模拟成请求是由Chrome浏览器发出
headers={ 'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}

# 伪装请求头信息，制造符合服务器要求的请求信息
request=urllib.request.Request(url,headers=headers)

# 给服务器发送请求
response=urllib.request.urlopen(request)

# 将响应信息利用解码格式解码
content=response.read().decode()

print(content)

UA(User Agent) 用户代理，使服务器能够识别客户使用的操作系统以及版本、CPU、浏览器版本、浏览器内核、浏览器渲染引擎、浏览器语言插件等

三、urllib爬GET请求的数据操作

对于有一些网站的请求是用到GET的方式请求
在这里插入图片描述
此时如果采用传统的直接使用传统的方法来爬取会报错

# -----------------------------利用urllib库进行GET方式的爬虫-------------------------------------
# 目标地址
url="https://www.runoob.com/python3/python-urllib.html"

# 定制请求头信息
headers={
    'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}

# 制定请求信息
request=urllib.request.Request(url=url,headers=headers)

# 给服务器发送请求
response=urllib.request.urlopen(request)

# 解码响应内容
content=response.read().decode('UTF-8')

# 打印请求内容
print(content)

报错内容：
在这里插入图片描述
原因分析：
此时网站的编码确实是用utf-8
在这里插入图片描述
所以这个原因是网站为了反爬设置的陷阱，他是因为在请求响应中设置了压缩属性，所以让我们得到源码后不能解析出来，参考链接 Python爬取网页Utf-8解码错误及gzip压缩问题的解决办法
在这里插入图片描述
解决方案：
先对爬取得到的网站信息进行解压然后再进行解码
整体代码：

# -----------------------------利用urllib库进行GET方式的爬虫-------------------------------------
# 目标地址
url="https://www.runoob.com/python3/python-urllib.html"

# 定制请求头信息
headers={
    'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}

# 制定请求信息
request=urllib.request.Request(url=url,headers=headers)

# 给服务器发送请求
response=urllib.request.urlopen(request)

# 解码响应内容
# 获取响应内容
content=response.read()
# 解压并解码响应内容
content=gzip.decompress(content).decode('UTF-8')

# 打印请求内容
print(content)

采用urllib库中的parse对象的quote方法
对于url中有单个中文的编码的话 建议采用quote方法

# --------------------------利用urllib中的quote方法----------------------------------------
# 适用范围，比如目标地址中有编码的问题，比如中文等

# 目标地址 "https://www.baidu.com/s?wd=周杰伦"
url="https://www.baidu.com/s?wd="

# 定制请求头信息 需要 'Accept'因为如果不加上百度服务器会返回百度验证
headers={
    'user-agent' : 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_2_6 like Mac OS X) AppleWebKit/604.5.6 (KHTML, like Gecko) Mobile/15D100 QQ/7.5.0.407 V1_IPH_SQ_7.5.0_1_APP_A Pixel/750 Core/UIWebView Device/Apple(iPhone 7) NetType/WIFI QBWebViewType/1',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'
}

# 需要将url中需要编码的内容进行编码
name=urllib.parse.quote("周杰伦")
# 拼接url
url=url+name
print(url)

# 制定请求信息
request=urllib.request.Request(url=url,headers=headers)

# 给服务器发送请求
response=urllib.request.urlopen(request)

# 获取响应内容
content=response.read().decode("utf-8")

# 打印请求内容
print(content)

采用urllib库中的parse对象的urlencode方法
对于url中有多个参数编码的话 建议采用urlencode方法

# --------------------------利用urllib中的urlencode方法----------------------------------------
# 适用范围，比如目标地址中有多个参数编码的问题，比如中文等

# 目标地址 "https://www.baidu.com/s?wd=周杰伦&sex=男&location=中国台湾省"
base_url="https://www.baidu.com/s?"
# 将url后面的参数用unicode编码整合
data={
    "wd":"周杰伦",
    "sex":"男",
    "location":"中国台湾省"
}
data=urllib.parse.urlencode(data)
print(data)

url=base_url+data

# 定制请求头信息
headers={
    'user-agent' : 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_2_6 like Mac OS X) AppleWebKit/604.5.6 (KHTML, like Gecko) Mobile/15D100 QQ/7.5.0.407 V1_IPH_SQ_7.5.0_1_APP_A Pixel/750 Core/UIWebView Device/Apple(iPhone 7) NetType/WIFI QBWebViewType/1',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'
}

# 需要将url中需要编码的内容进行编码
name=urllib.parse.quote("周杰伦")
# 拼接url
url=url+name
print(url)

# 制定请求信息
request=urllib.request.Request(url=url,headers=headers)

# 给服务器发送请求
response=urllib.request.urlopen(request)

# 获取响应内容
content=response.read().decode("utf-8")

# 打印请求内容
print(content)

四、urllib爬Post请求的数据操作

post请求一般是有数据表单 而且再url中不会显示表单内容，因此请求信息中要编码制作成请求体中

使用案例：
通过以上所学知识，利用urlib库完成爬取翻译网页

注意事项：
要利用抓包工具抓出post请求表单中data数据的key
在这里插入图片描述

# -------------------------------------利用urllib库完成对于Post请求的爬取-------------------------------------
# 目标地址
url="https://fanyi.baidu.com/sug"

# 定制请求头
headers={
    'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}

# post请求的表单数据
base_data={
    "wk":"spider"
}
print(type(base_data)) #<class 'dict'>

# 还得用unicode统一编码
unicode_data=urllib.parse.urlencode(base_data)
print(type(unicode_data))#<class 'str'> 字符串的编码格式默认为utf-8
print("该变量的编码格式是：", unicode_data.encode())

# 还得字符串转成bytes类型
bytes_data=unicode_data.encode("utf-8")
print(type(bytes_data))#<class 'bytes'>

# post请求的数据不能拼接到url中而是要封装成请求体
# 定制请求信息 data的数据使byte类型
request=urllib.request.Request(url=url,data=bytes_data,headers=headers)

# 模拟浏览器向服务器发送请求
response=urllib.request.urlopen(request)

# 获取响应数据内容
content=response.read().decode("utf-8")

print(content)

问题
遇到问题就是会出现未知错误 errno：1000
在这里插入图片描述

五、爬取豆瓣电影首页的数据 GET请求案例

1、抓包工具找到抓取请求地址
在这里插入图片描述
在这里插入图片描述
整体代码：

# ------------------------------爬取豆瓣电影首页信息-------------------------------
# 寻找目标地址
base_url="https://movie.douban.com/j/chart/top_list?type=1&interval_id=100%3A90&action=&start=0&limit=20"

# 伪装UA请求头
headers={
    'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
}

# 定制请求信息
request=urllib.request.Request(url=base_url,headers=headers)

# 发送请求信息
response=urllib.request.urlopen(request)

# 解码获取响应数据
content=response.read().decode("utf-8")

# 将数据保存到本地 open方法默认的编码格式未GBK 因为内容中有中文所以要制定编码格式未unicode
fp=open('douban.json','w',encoding="utf-8")
fp.write(content)
fp.close()

print(type(content)) #<class 'str'>
print(content)

补充知识内容：
JSON字符串JSON对象以及普通字符串的区别
爬取豆瓣信息的内容为JSON数据中的数组结构
在这里插入图片描述

拓展练习一：爬取豆瓣前十页的电影信息

情景：AJAX的get请求
Ajax是什么？Ajax的作用和使用
如何判断网页是AJAX请求
通过判抓包工具中抓的请求头数据为XMLHttpRequest对象在这里插入图片描述

# _*_ coding : utf-8 _*_
# @Time : 2024/4/10 14:09
# @Author : HHL
# @File : 豆瓣前十页电影信息
# @Project : Python基础

# 分析：
# https://movie.douban.com/j/chart/top_list?type=1&interval_id=100%3A90&action=&start=0&limit=20
# https://movie.douban.com/j/chart/top_list?type=1&interval_id=100%3A90&action=&start=20&limit=20
# https://movie.douban.com/j/chart/top_list?type=1&interval_id=100%3A90&action=&start=40&limit=20
# 原理：
# page  1 2  3
# start 0 20 40
# start=(page-1)*20

import urllib.request
import urllib.parse


def get_request(page):
    # 确认目标地址
    base_url="https://movie.douban.com/j/chart/top_list?type=1&interval_id=100%3A90&action=&"
    headers={
        'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
    }
    data={
        "start":(page-1)*20,
        "limit":20
    }
    data=urllib.parse.urlencode(data)
    goal_url=base_url+data

    # 定制请求对象 该请求的方式为get所以不需要data参数
    request=urllib.request.Request(url=goal_url,headers=headers)
    return request

def get_response(request):
    response=urllib.request.urlopen(request)
    return response
def save_data(content,page):
    with open('douban'+str(page)+".json",'w',encoding="utf-8") as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page=int(input("please enter start page:"))
    end_page = int(input("please enter end page:"))

#  串级爬取数据
    for page in range(start_page,end_page+1):
        # 定制请求对象
        request = get_request(page)
        # 向服务器发送请求
        response=get_response(request)
        # 获取响应内容
        content=response.read().decode("utf-8")
        # 保存到本地
        save_data(content,page)
        print("爬取第"+str(page)+"页数据成功")

在这里插入图片描述

拓展练习二：爬取肯德基官网信息

情景：AJAX的post请求 ：
爬取佛山哪些位置有肯德基

为什么data数据需要两次编码
因为第一次（urlencode）是要将data数据unicode为以下第二张view source的格式
第二次编码是需要将datra数据变成二进制bytes类型，因为Request函数中的data必须是bytes类型
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

# _*_ coding : utf-8 _*_
# @Time : 2024/4/10 23:54
# @Author : HHL
# @File : 爬取肯德基佛山前十页地址信息
# @Project : Python基础

# 分析
# https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname 第一页
# cname: 佛山
# pid:
# pageIndex: 1
# pageSize: 10

# https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname 第二页
# cname: 佛山
# pid:
# pageIndex: 2
# pageSize: 10

# https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname 第三页
# cname: 佛山
# pid:
# pageIndex: 3
# pageSize: 10
import urllib.request
import urllib.parse


def get_request(page):
    #   目标地址
    base_url = "https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"
    #   请求头伪装
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36'
    }
    #   请求体数据
    data = {
        'cname': '佛山',
        'pid': '',
        'pageIndex': page,
        'pageSize': '10'
    }
    # post请求中要为data数据编码两次
    encode_data = urllib.parse.urlencode(data)
    bytes_data = encode_data.encode("utf-8")  # 目的是转化为bytes类型给Request函数用
    # 请求对象定制
    request = urllib.request.Request(url=base_url, headers=headers, data=bytes_data)
    return request


def get_response(request):
    #     给服务器发送请求
    response = urllib.request.urlopen(request)
    return response


def get_content(response):
    content = response.read().decode("utf-8")
    return content


def save_data(content, page):
    with open("KFCLocation" + str(page) + ".json", "w", encoding='utf-8') as fp:
        fp.write(content)
    print("爬取肯德基第" + str(page) + "页数据成功")


if __name__ == '__main__':
    start_page = int(input("please enter start page:"))
    end_page = int(input("please enter end page:"))
    for page in range(start_page, end_page + 1):
        # 定制请求对象
        request = get_request(page)

        # 向服务器中发送请求得到响应数据
        response = get_response(request)

        # 获取响应内容
        content = get_content(response)

        # 将数据保存到本地中
        save_data(content, page)
Jumping_Pig
关注
  • 19
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
爬虫学习心得（二）
qq_40377374的博客
06-11 1670
前一部分是对一些基础文件的配置，这一部分是对抓包工具的使用。 目录 抓包工具fiddler的使用 postman使用 内容json格式化 抓包工具fiddler的使用 抓包工具使用的是fiddler，移动端则是使用了逍遥安卓模拟器。 这里看了很多教程，但是开始时，想使用自己的手机进行抓包，可是总是获取不到https连接，所以还是改用了模拟器。 fiddler抓包教程：https:/...
爬虫学习（二）
weixin_41628764的博客
05-12 429
Requests模块 安装：pip install requests 镜像安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests 一、代码： import requests def pracRequests(): url = r'https://www.sogou.com/web?query=许嵩' resp = requests.get(url) ## 获得响应 print(resp
爬虫小白学习日记（一）
Jumping_Pig的博客
04-07 844
链接: 六万字带你一次性速通python爬虫基础例如：例如：1、利用Anaconda创建新环境的时候报错： 解决方案： 参考连接：链接: link 删除对应的.condarc并且重新创建虚拟环境 2、Anaconda创建环境慢： 解决方案： 换国内源
爬虫小白自学日记
m0_46179998的博客
05-01 428
前言：本人刚毕业不到一年的工科生，代码经历只停留在大一上C语言的经历（基本等于0），从接触python到实现自己的需求花了5个月的时间，因为大部分遇到的问题都是在CSDN上找到的，所以想写一篇总结，回顾一下这几个月的经历和分享一些心得，让在刚开始学习python的人有一些参考。 1. 需 求：由于每个月都要从公司内网里面取数据，汇总到EXCEL表格上做成报表（就这一个简单的活，数据多起来，搞一个小...
python爬虫学习课件
06-30
本课件包含： 1、爬虫基础入门（爬虫介绍、分类和原理、http和https的请求和响应、chrome抓包说明） 2、爬虫核心技巧（http请求库和requests、正则...适用于想入门学习爬虫的小白，可以结合一些教学视频进行理解。
python 爬虫学习笔记
03-09
Python 爬虫学习笔记 本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post...
python 爬虫学习资料.zip
11-12
Python爬虫学习资料是一个丰富的资源集合，旨在帮助初学者和有经验的开发者深入理解Python爬虫技术。Python作为一门简洁且强大的编程语言，是网络爬虫领域的首选工具，因其易于学习且拥有众多相关的库和框架。 一、...
python爬虫实战日记.zip
01-08
python爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记.zippython爬虫实战日记....
爬虫+机器学习聚类分析
06-15
用python爬取虎扑体育https://nba.hupu.com/stats/players中球员数据，包括球员姓名、球队、得分、命中-出手、命中率、命中-三分、三分命中率、命中-罚球、罚球命中率、场次、上场时间等数据，对数据进行整理并存入...
为什么需要IP池？
2202_75577207的博客
07-30 222
网络爬虫经常需要大量的HTTP请求，而某些网站可能会对频繁请求同一IP地址的行为进行限制或封锁。通过使用IP池，我们可以轮流使用多个IP地址，降低单个IP被封的概率，确保爬虫能够持续正常运行。地理分布： 有些网站可能对不同地理位置的访问有不同的限制或规定。通过使用IP池，可以模拟不同地理位置的访问，提高爬虫的灵活性。反反爬虫： 有些网站可能会识别和封锁常见的代理IP，通过使用IP池，可以不断更新IP地址，提高反反爬虫的效果。隐私保护： 使用IP池可以降低个别IP地址被追踪的风险，保护爬虫的隐私。
浅学爬虫-python爬虫基础
LS_Ai的博客
07-29 960
Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。
基于北京市空气质量影响因素研究系统【城市可换爬虫获取、LSTM、Flask、Echarts、MySQL、TensorFlow】
最新发布
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
07-30 808
在此项目研究中，信息收集作为探讨京城大气状况影响要素的初始环节，肩负着为后续剖析和范式构建提供基础资料的关键职责。为了全方位精确地获得相关信息，本课题运用了基于Python语言编制的自动化网络爬虫软件，高效地从公开气象站点上抓取首都各地区的空气品质和气候数据，总计3万余条有效记录。这一信息采集流程不仅涉及数据的获取，还包含了信息的预处理与贮存，保证了资料的精确性和适用性。首先，课题确立了信息采集的对象与范畴，界定了须要收集的空气品质指标，涵盖但不局限于气温、风速、风向、AQI等气象因子。
基于豆瓣音乐、豆瓣图书、豆瓣电影详情获取、长短评获取【豆瓣全家桶系列】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
07-26 1131
本项目旨在全面采集豆瓣平台上的电影、图书和音乐相关数据，通过精心设计的爬虫系统，实现了对这三大领域详情页面及用户评论的深度抓取。以下是项目的主要特点和成果总结： 1. 多领域数据采集： 成功实现了对豆瓣电影、图书和音乐三大板块的全面数据采集，为后续分析提供了丰富多样的数据源。 2. 详情页面深度抓取： 针对每个领域的详情页面，我们设计了专门的爬虫模块，确保准确获取如标题、评分、简介、创作者信息等核心数据。 3. 评论数据全面采集： 项目不仅关注作品本身，还重点采集了用户的短评和长评。
定制化爬虫管理：为企业量身打造的数据抓取方案
zhou6343178的博客
07-25 941
在数据驱动的时代，企业如何高效、安全地获取互联网上的宝贵信息？定制化爬虫管理服务应运而生，成为解锁专属数据宝藏的金钥匙。本文将深入探讨定制化爬虫管理如何为企业量身打造数据抓取方案，揭秘其在海量信息中精准捕获价值数据的奥秘。
一篇文章带你入门爬虫并编写自己的第一个爬虫程序
2301_79959126的博客
07-26 1560
本文介绍了爬虫的基本概念、基本过程，并详细地讲解了一个爬虫程序的构思思路与代码实现，旨在带领读者入门爬虫并编写自己的第一个爬虫程序。
爬虫基本原理入门
RHeng的博客
07-25 1176
爬虫（Web Crawler），又称为网络爬虫或网页蜘蛛，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。它们可以模拟浏览器行为，遍历网页并抓取网页中的信息，如文本、图片、链接等。接下来，我们会尝试使用Python等编程语言，结合相关库和工具，动手编写自己的爬虫程序，探索更多关于爬虫技术的奥秘。
飞牛爬虫FlyBullSpider 一款简单方便强大的爬虫，限时免费 特别适合小白！用它爬下Boss的2024年7月底Java岗位，分析一下程序员就业市场行情
fencer911的专栏
07-26 371
在动作编辑界面 还可以提前执行当前的动作 . 自定义JS暂未实现，待更新。10页的数据300多条。Boss的同一url的数据，每次执行都不一样。但是，Boss的第一页与以后的页结构不一样，所以同一信息配置了两次，基本就只需要点点就行了。保险可以不搞循环(搞循环，也可以不设置"循环结束")，多次运行的数据可以累积在一起。飞牛爬虫 设计与运行在一个界面上，在动作编辑界面 还可以提前执行当前的动作。基本上一行代码不写，一点配置也不改动的情况下，也能爬到数据。数据有重复的，手动在boss点，也会有重复的数据!
【Python】如何编写一个Scrapy扩展（Scrapy Extension）
2333333
07-26 1255
Scrapy扩展是一些可以插入到Scrapy的执行流程中的插件，用于在特定的时机执行自定义代码。这些时机包括引擎启动和停止、调度器事件、下载器事件以及爬虫的各种信号。本文介绍了如何编写和使用一个Scrapy扩展。通过扩展机制，我们可以在Scrapy的执行过程中插入自定义的逻辑，满足各种特定需求。希望这个示例能帮助你更好地理解和使用Scrapy扩展。如果你有任何问题或建议，欢迎在评论区留言。
小白学习爬虫多久可以入门?
04-06
这个问题很难一概而论，因为每个人的学习速度和背景不同。一些人可能需要花费几个月的时间来学习爬虫基础知识，而其他人可能只需要几周。 入门爬虫需要掌握一些基本的编程知识，例如Python编程语言，HTTP协议，HTML和CSS等。对于没有编程背景的新手，这可能需要更长的时间来学习。 另外，要成为一名优秀的爬虫工程师，还需要深入了解网络安全和数据处理技术。这些方面的知识可能需要更长时间的学习和实践。 总的来说，如果你每天花费一定的时间学习和练习，可能需要几周到几个月的时间才能入门爬虫。但是，要成为一名熟练的爬虫工程师可能需要更长时间的学习和实践。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值