python爬虫教程：详解4种类型的爬虫技术，令人心动的offer第一季面试篇

本文链接：https://blog.csdn.net/m0_60606468/article/details/137791638

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

第一，获取初始URL。初始URL地址可以由用户人为指定，也可以由用户指定的某个或某几个初始爬取网页决定。
第二，根据初始的URL爬取页面并获得新的URL。获得初始的URL地址之后，需要先爬取对应URL地址中的网页，接着将网页存储到原始数据库中，并且在爬取网页的同时，发现新的URL地址，并且将已爬取的URL地址存放到一个URL列表中，用于去重及判断爬取的进程。
第三，将新的URL放到URL队列中，在于第二步内获取下一个新的URL地址之后，会将新的URL地址放到URL队列中。
第四，从URL队列中读取新的URL，并依据新的URL爬取网页，同时从新的网页中获取新的URL并重复上述的爬取过程。
第五，满足爬虫系统设置的停止条件时，停止爬取。在编写爬虫的时候，一般会设置相应的停止条件。如果没有设置停止条件，爬虫便会一直爬取下去，一直到无法获取新的URL地址为止，若设置了停止条件，爬虫则会在停止条件满足时停止爬取。详情请参见图2-5中的右下子图。

通用爬虫技术的应用有着不同的爬取策略，其中的广度优先策略以及深度优先策略都是比较关键的，如深度优先策略的实施是依照深度从低到高的顺序来访问下一级网页链接。

关于通用爬虫使用方法的示例如下。

【例2】爬取京东商品信息

‘’’

爬取京东商品信息：

请求url：https://www.jd.com/

提取商品信息：

1.商品详情页

2.商品名称

3.商品价格

4.评价人数

5.商品商家

‘’’

from selenium import webdriver # 引入selenium中的webdriver

from selenium.webdriver.common.keys import Keys

import time

def get_good(driver):

try:

通过JS控制滚轮滑动获取所有商品信息

js_code = ‘’’

window.scrollTo(0,5000);

‘’’

driver.execute_script(js_code) # 执行js代码

等待数据加载

time.sleep(2)

查找所有商品div

good_div = driver.find_element_by_id(‘J_goodsList’)

good_list = driver.find_elements_by_class_name(‘gl-item’)

n = 1

for good in good_list:

根据属性选择器查找

商品链接

good_url = good.find_element_by_css_selector(

‘.p-img a’).get_attribute(‘href’)

商品名称

good_name = good.find_element_by_css_selector(

‘.p-name em’).text.replace(“\n”, “–”)

商品价格

good_price = good.find_element_by_class_name(

‘p-price’).text.replace(“\n”, “:”)

评价人数

good_commit = good.find_element_by_class_name(

‘p-commit’).text.replace(“\n”, " ")

good_content = f’‘’

商品链接: {good_url}

商品名称: {good_name}

商品价格: {good_price}

评价人数: {good_commit}

‘’’

print(good_content)

with open(‘jd.txt’, ‘a’, encoding=‘utf-8’) as f:

f.write(good_content)

next_tag = driver.find_element_by_class_name(‘pn-next’)

next_tag.click()

time.sleep(2)

递归调用函数

get_good(driver)

time.sleep(10)

finally:

driver.close()

if name == ‘main’:

good_name = input(‘请输入爬取商品信息:’).strip()

driver = webdriver.Chrome()

driver.implicitly_wait(10)

往京东主页发送请求

driver.get(‘https://www.jd.com/’)

输入商品名称，并回车搜索

input_tag = driver.find_element_by_id(‘key’)

input_tag.send_keys(good_name)

input_tag.send_keys(Keys.ENTER)

time.sleep(2)

get_good(driver)

03 增量爬虫技术

某些网站会定时在原有网页数据的基础上更新一批数据。例如某电影网站会实时更新一批最近热门的电影，小说网站会根据作者创作的进度实时更新最新的章节数据等。在遇到类似的场景时，我们便可以采用增量式爬虫。

增量爬虫技术(incremental Web crawler)就是通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新后的新数据。

关于如何进行增量式的爬取工作，以下给出三种检测重复数据的思路：

在发送请求之前判断这个URL是否曾爬取过;
在解析内容后判断这部分内容是否曾爬取过;
写入存储介质时判断内容是否已存在于介质中。

第一种思路适合不断有新页面出现的网站，比如小说的新章节、每天的实时新闻等;
第二种思路则适合页面内容会定时更新的网站;
第三种思路则相当于最后一道防线。这样做可以最大限度地达到去重的目的。

不难发现，实现增量爬取的核心是去重。目前存在两种去重方法。

第一，对爬取过程中产生的URL进行存储，存储在Redis的set中。当下次进行数据爬取时，首先在存储URL的set中对即将发起的请求所对应的URL进行判断，如果存在则不进行请求，否则才进行请求。
第二，对爬取到的网页内容进行唯一标识的制定(数据指纹)，然后将该唯一标识存储至Redis的set中。当下次爬取到网页数据的时候，在进行持久化存储之前，可以先判断该数据的唯一标识在Redis的set中是否存在，从而决定是否进行持久化存储。

关于增量爬虫的使用方法示例如下所示。

【例3】爬取4567tv网站中所有的电影详情数据

‘’’

遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025

寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！

‘’’

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

from redis import Redis

from incrementPro.items import IncrementproItem

class MovieSpider(CrawlSpider):

name = ‘movie’

allowed_domains = [‘www.xxx.com’]

start_urls = [‘http://www.4567tv.tv/frim/index7-11.html’]

rules = (

Rule(LinkExtractor(allow=r’/frim/index7-\d+.html’), callback=‘parse_item’, follow=True),

)

创建Redis链接对象

conn = Redis(host=‘127.0.0.1’, port=6379)

def parse_item(self, response):

li_list = response.xpath(‘//li[@class=“p1 m1”]’)

for li in li_list:
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
nimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-IMnYoPIS-1713178659934)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！