Python学习笔记：26 Python爬虫常见的坑即解决办法

最新推荐文章于 2024-05-01 14:35:23 发布
最新推荐文章于 2024-05-01 14:35:23 发布
阅读量330 收藏 2
点赞数
分类专栏： python学习笔记 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44733409/article/details/119856806
版权

前程无忧成都数据分析师招聘求职网页，爬取职位信息发现网页源码与控制台输出的源码有不同的地方，如下图所示：
在这里插入图片描述

在这里插入图片描述
控制台找不到class属性值为t的p标签，那么职位信息也就不能通过元素定位来获取。
解决办法是：在控制台搜索职位信息，如下图所示：
在这里插入图片描述
发现职位信息在上图圈出的代码中，其中{}包含的部分是一个字典，字典中键为engine_search_result的值是一个列表，列表里是很多个字典&#

最低0.47元/天 解锁文章
better meˇ:)
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python学习---day26练习
pyl3302795580的博客
07-26 865
有关于列表的练习
数据抓取 --Beautiful Soup库的使用问题（3） - 使用find或者find_all的时候 非class 或者 id 的时候定位出现问题。
weixin_42555401的博客
07-24 887
数据抓取 --Beautiful Soup库的使用问题（2） 使用 find_all，Tag 和 find 基本解决爬虫中的95%以上有难度的需求 在爬取数据的时候我们会使用find或者find_all 来定位tag标签的位置。 举例：通常使用 class_ 或者 id 都能找到对应的。 # 5.前台价格 retail_price = soup.find(id=...
Python+Selenium爬虫：定位元素无ID和class等属性解决办法
热门推荐
VM_Alike的博客
08-21 1万+
今天笔者进行数据爬虫的时候遇到一个问题，所需要定位的input输入框元素和button按钮元素都没有ID和此class等属性。代码如下： <div id="headerScaher" class="scaher hover"> <input type="text" placeholder="IP、域名、文件HASH(MD5/SHA1/SHA256)、邮箱"> ...
2024年Python爬虫：爬取招聘网站系列 - 前程无忧
2401_84562659的博客
05-01 1192
import pprint # 格式化输出模块import csv # 保存csv数据算了，我直接贴代码吧，流程都写清楚了，我把注释也标上了。兄弟们在学习的时候没有人解答和好的学习资料教程就很痛苦，解答或者其它教程都在这了对应视频教程：【Python爬虫】招聘网站实战合集第一弹：爬取前程无忧，零基础也能学会！f = open(‘python招聘数据1.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)‘标题’,‘公司名字’,‘城市’,‘薪资’,
爬取和预处理网页div标签数据
01-03 1401
Pandas爬取和预处理天气数据
html pm id class,使用selenium和python提取没有任何class和id的div标签
weixin_39682944的博客
06-20 367
我正在尝试使用selenium从网站获取每小时和每日水位数据。我的代码到目前为止import timefrom selenium import webdriverfrom selenium.webdriver.support.ui import Selectdriver = webdriver.Chrome(r"C:\Python27\chromedriver.exe")driver.get('h...
爬虫基础使用 lxml提取信息，遇到p标签无class
wenmu_的博客
05-04 730
如图： 可以使用 /p[not(@class)]
Python使用selenium时使用find_elements_by_class_name导致找不到元素
zkkkkkkkkkkkkk的博客
09-05 2482
在使用selenium爬虫时想找到页面中所有 class = c-id text-left 的元素，这个需求无疑是使用find_elements_by_class_name来查找，但是问题在于没有查找到，返回了一个空列表。也是上网看了下这个问题，大概意思是这个class属性有空格时表明他有多个个class属性，以本文的c-id text-left举例，class的属性有c-id及text-left两个，并不是一个整体。我总结的解决方法有两种。值得注意的是你必须要保证你放入的属性是你想找到元素的唯一。
学习笔记：Python爬虫正则表达式.doc
最新发布
07-20
### 正则表达式在Python爬虫中的应用 #### 一、引言 在Python编程中，正则表达式（Regular Expression，简称regex或regexp）是一种强大的文本处理工具，广泛应用于字符串搜索、替换等场景。对于从事网络爬虫开发的...
学习笔记(02):Python爬虫开发-爬虫初始深入
01-07
立即学习:https://edu.csdn.net/course/play/24454/296785?utm_source=blogtoedu 爬虫在使用场景中的分类  -通用爬虫：  抓取系统重要组成部分，抓取的是一整张页面  -聚焦爬虫：  是建立在通用爬虫的基础之上。...
python 爬虫学习笔记
03-09
Python 爬虫学习笔记 本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post...
Python 爬虫学习笔记之多线程爬虫
01-20
刚学过正则表达式，用的正顺手，现在就把正则表达式替换掉，使用 XPath，有人表示这太坑爹了，早知道刚上来就学习 XPath 多省事 啊。其实我个人认为学习一下正则表达式是大有益处的，之所以换成 XPath ，我个人认为...
Python 爬虫学习笔记之单线程爬虫
01-20
本篇文章主要介绍如何爬取麦子学院的课程信息（本爬虫仍是单线程爬虫），在开始介绍之前，先来看看结果示意图 怎么样，是不是已经跃跃欲试了？首先让我们打开麦子学院的网址，然后找到麦子学院的全部课程信息，像...
数据爬虫爬数据时常遇到的问题
conquer_galaxy的博客
04-18 1673
所以采用js获取数据也是不错的选选择，但是如果是偏大型一点的爬虫，直接在浏览器控制台打js代码获取数据就不太好了(虽然我们一般都是在vscode先写好几十行代码后再复制到控制台运行)，，可能不能直接通过pyppeteer简单的直接page.querySelectorAll()获取所有元素然后直接。但是对于偏大一些的数据爬虫，我们还是首选在编译器运行(甚至写好js脚本项目后打包到浏览器脚本或插件后再运行！这时我们就要换打印方式了，首先第一种：console.table(song_names)
初识爬虫③ -网页基础
十八岁讨厌编程的博客
05-07 712
文章目录重识网页网页开发HTML 元素HTML 常见元素属性 重识网页 网页的本质是 HTML，当我们用浏览器打开某个网页的时候，浏览器用适合人类阅读的方式呈现出来了。 爬虫要解析的就是 HTML，熟悉 HTML 语法后你就可以在解析 HTML 上游刃有余。 前面我们讲过，向浏览器中输入某个网址后，浏览器会向服务器发出请求，然后服务器就会作出响应。其实，服务器返回给浏览器的这个结果就是 HTML 代码了。 而紧接着，浏览器会根据这个 HTML 代码，解析成我们所能看见的漂亮网页。 通过右键点击 显示网页源
爬虫——Python爬虫（BeautifulSoup）遇到拿不到的标签
老简单题
11-07 3081
问题：由于网速不好，一些需要缓冲的标签获取不到 解决方案：首先查看是不是自己所写的标签有问题，是用class还是用id取的。 再利用仿真，让网站停留几秒进行缓冲 方法： （1）将chromedriver.exe放到程序所在文件夹 （2）py文件中导入 from selenium import webdriver import time （3）具体代码 driver = webdriver.Chrome() driver.get(wholelink)#写上自己的链接 time.sleep(5)#缓冲时间，可
python高级—— 从趟过的坑中聊聊爬虫、反爬、反反爬，附送一套高级爬虫试题
09-30 6689
前言： 时隔数月，我终于又更新博客了，然而，在这期间的粉丝数也就跟着我停更博客而涨停了，唉 是的，我改了博客名，不知道为什么要改，就感觉现在这个名字看起来要洋气一点。 那么最近到底咋不更新博客了呢？说起原因那就多了，最主要的还是没时间了，是真的没时间，前面的那些系列博客都还没填坑完毕的（后续都会填上的） 最近有点空余就一直在开发我的项目，最近做了两个项目： IPproxy，看名字就知道啦...
Python爬虫遇到的坑（收集中）
Scott0902的博客
11-03 95
Python爬虫遇到的坑（收集中）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

better meˇ:)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值