一篇教程教你学会Python爬虫，不服不行！

网络安全学习规划

已于 2024-01-17 11:44:47 修改

阅读量120

点赞数 4

分类专栏： Python爬虫 python 编程文章标签： python 爬虫开发语言 Python爬虫

于 2023-11-07 14:45:00 首次发布

本文链接：https://blog.csdn.net/weixin_49891576/article/details/134231896

版权

python 同时被 3 个专栏收录

474 篇文章 23 订阅

订阅专栏

编程

123 篇文章 1 订阅

订阅专栏

Python爬虫

46 篇文章 1 订阅

订阅专栏

文章目录

前言
Python入门教程
资料领取

前言

几番折腾之后，感觉爬虫也没想象的那么难。今天就把我的经验分享给你，希望能不走过多的弯路，可以轻松的体验到爬虫的乐趣。

在这里插入图片描述

本文分二部分，一是爬虫思路，二是爬虫实例。

01爬虫思路：

1、利用程序打开指定的网页

2、在网页中查找需要的内容（单个或者多个）

3、保存或者下载找到的内容

02爬虫实例：

本次操作演示使用的电子产品：

硬件型号：清华同方电脑

软件版本：Python3.7.5

APP 的版本信息：没有

一、前期准备

1、安装Python，我用的Python3.7.5

2、安装selenium模块，一般在cmd窗口执行pip install selenium就可以了。

安装pyautogui模块，pip install pyautogui

3、下载对应的浏览器驱动，我用的谷歌，所以下载的是chromeDriver，下载地址自动百度，记得要和自己的浏览器版本一致。（我的建议，初学者直接把下载好的驱动直接放在自己的源码所在的文件里，不行各种配置了，能玩起来再慢慢皮。）

4、会在浏览器里按F12 打开调试窗口，并会用选择工具定位到需要的元素的代码，查看规律。如下图：

二、全功能代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import urllib
import pyautogui as pg

driver = webdriver.Chrome() #创建一个浏览器

driver.get("http://www.5nd.com/") # 打开一个指定的网址

pic=driver.find_elements(By.XPATH,"//a[@class='__playcolor']") #根据class属性查找所有的a链接
#注意这里是find_elements，表示查找多个元素
for one in pic:
    name=one.get_attribute("title") #获得查找到的元素的属性值
    one.click() #点击查到到的元素
    time.sleep(2)
    n = driver.window_handles   # 获取当前页句柄
    driver.switch_to.window(n[1])  #切换到新窗口  
    mp3=driver.find_element(By.XPATH,"//audio[@preload='metadata']") #根据preload属性查找audio元素
    #注意这里是find_element，表示查找单个元素
    sx=mp3.get_attribute("src") #获得src属性值，也就是下载的链接
    urllib.request.urlretrieve(sx,'mp3/%s.mp3'%name)  #下载指定的文件到mp3文件夹下

    pg.hotkey("ctrl","w")  #发送快捷键关闭窗口

    driver.switch_to.window(n[0]) #切换到原窗口  
    time.sleep(0.5)
    
driver.quit() #退出浏览器

上面的代码有详细的注释，涉及到爬虫的各种基本操作，可以先体验成功，然后再根据自己的需要进行重新改编。

注意一个小细节，下载的音乐文件是放在mp3文件夹里，所有源代码和驱动以及mp3要平级，如下图所示：