获取拉勾网30页所有信息的常规方法 VS selenium

于 2021-01-16 19:40:59 发布
阅读量360 收藏
点赞数
分类专栏： spider大集合 文章标签： xpath csv 爬虫 python cookie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tianxuancsdn/article/details/112723342
版权
本文探讨了在面对拉勾网反爬策略时，使用常规方法和selenium两种方式进行爬虫的优缺点。常规方法需要处理cookie和拼图验证，而selenium虽然能解决cookie问题，但无法避免拼图验证。建议每次爬取5至10页以避免过多的验证。
摘要由CSDN通过智能技术生成

笔者有话说：大家也都知道拉勾网此类的电商网站反爬一向恶心，笔者通过半天时间的研究试用了两种方法之后，得出了两个结论（包括一个貌似可行的cokie秘密）

在这里插入图片描述

首先是常规方法

在这里插入图片描述

import requests
from lxml import etree
import random
from multiprocessing.dummy import Pool
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Alexander plus
关注
专栏目录
订阅专栏
拉勾网反爬机制分析（2020年1月21日）
King
01-21 2094
本文分析了拉勾网（https://www.lagou.com/）的反爬虫机制。
接口实现拉钩爬虫
du346568978的博客
05-18 726
拉勾网是个反爬措施比较多的网站，其中有许多需要我们调试分析学习的地方，本章就以拉钩网上遇见的问题进行分析，然后进行爬虫设计。 1. 网页分析 打开网页链接（这里我是用python关键字搜索的）： https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput= 之后查看网页源代码，搜索岗位信息（Ctrl+f），发现我们所需的数据不在网页源代码中出现，而是通过ajax接口把数据传递过来的。拉钩网是一个典型的
python爬虫系列——拉勾网
qq_38301448的博客
12-25 3161
爬虫系列——拉勾网 首先进入拉勾网网页界面，搜索python，我们就可以看到很多与python有关的职位 然后我们右击–>查看网页源代码，然后 任意复制有关工作，在刚才网页源代码界面ctrl+F然后ctrl+v搜索该职位 emmm~~发现没有该职位信息 说明职位信息并不是我们在请求那个网页的url时候一起返回过来的，而是通过ajax请求另一个接口，请求回来后再通过json把信息装在我...
Python拉勾网爬虫实现
KeerZhou的博客
08-21 3485
拉勾网爬虫 解析拉勾网网站： 在拉勾网上输入关键词后我们可以得到相应的岗位信息（这里以Python为例），我们先获取到网站中所有的城市信息，再通过城市信息遍历爬取全国的Python岗位信息。 ...
教你编写人工智能数据分析案例​（Python）
07-13
此课程是从环境搭建开始讲解怎么爬取拉钩数据，以及怎么处理拉钩的反扒机制，此课程适合Python基础的同学快速了解爬虫和利用Python进行数据分析。
网络爬虫 之 PhantomJS技术实战
05-17
本课程使用java作为编程语言，主要内容包括爬虫的基本原理，使用Phantomjs技术抓取拉钩企业招聘信息进行系统分析、Phantomjs的详细使用方法，如何使用Phantomjs分析html代码，基于队列的爬虫、数据存储、数据拆分、爬虫限速、网页跟踪，脚本注入等技术。任务作业：请抓取拉钩企业招聘数据进行企业岗位数据分析实战《各大城市招聘状况分析》。（注意： 作业需写在CSDN博客中，请把作业链接贴在评论区，老师会定期逐个批改~~）
Python Selenium自动化获取页面信息的方法
09-16
在Python自动化测试领域，Selenium是一个强大的工具，它允许开发者模拟用户行为，与网页进行交互，并获取页面上的各种信息。本文将深入探讨如何使用Selenium库来获取页面信息，主要包括页面标题、URL、浏览器版本号...
基于selenium 获取新页面元素失败的解决方法
08-27
Selenium 获取新页面元素失败的解决方法可以通过获取窗口的所有句柄，然后遍历这个句柄集合，直到存在句柄（handle）与当前窗口的句柄（currentHandle）不一样，将之前的 WebDriver 转到新的句柄（handle）所指向的...
selenium获取当前页面的url、源码、title的方法
12-31
将以上方法按顺序练习一遍，效果如GIF： from selenium import webdriver from time import sleep sleep(2) driver = webdriver.Chrome() driver.get(https://www.baidu.com/) # 移动浏览器观看展示 driver.set_...
【爬虫专栏20】拉勾网爬虫（单线程和多线程）
summer_bird的博客
03-17 664
这里写自定义目录标题注意事项功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片A如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 、 注意事项 #拉勾网有反爬，cooki...
爬虫练习-拉勾网
07-06
从拉勾网上爬取特定岗位的招聘信息，并将爬取的结果传输到MySQL数据库中。
python爬虫拉钩网
12-27
这个拉钩网的爬虫是利用selenium模拟游览器的行为进行爬取，可以尽可能的减少错误
拉钩网
Kevin & Python & Story
11-04 802
# -*- encoding: utf-8 -*- # 导入相应的包 import requests import time import json from urllib.parse import quote def get_page(url_start,url_parse,params,job): # 创建一个session对象 s = requests.Session() ...
应对反爬如何爬取拉勾网信息（非常详细）
weixin_43800002的博客
08-18 6841
目录前期准备请求头Cookies问题手动提取Cookies和自动Cookies相结合自动提取Cookies实现手动提取Cookies实现页面分析代码实现 前期准备 我们知道百度其实就是一个爬虫，但是对方的服务器是没有对百度进行反爬的，所以为了防止对方服务器的反爬，我们在爬取网站的时候要尽可能地模拟我们使用的浏览器。 请求头 headers = { 'Origin': 'https://www.lagou.com', 'Accept-Encoding': 'gzip,
拉勾网职位数据爬取--按公司规模爬取
dta0502的博客
08-27 918
全部的代码见我的GitHub 这里改进了一下之前文章-拉勾网职位数据爬取，由于拉勾网最多只会显示30页的职位信息，为了获取更多的职位信息，就要分类爬取。 由于北京的Python职位很多，超过了30页的部分就不显示了，我为了能够比较全的爬取数据，就进行了分类爬取。这里我选择公司规模这个类别： 小于15人 15-50人 50-150人 150-500人 500-2000人 2...
2020-08-15 拉勾网反爬破解
qq_38220144的博客
08-15 1046
拉勾网是目前为止遇到的反爬最强的网站之一。 这里采用的是谷歌浏览器。 第一步 打开拉勾网，检查，输入java，找到如下图所示的地方。 第二步 找到 以及等会要用的cookie,这里你如果直接用下面这个cookie，你会被反爬的。 所以需要去尝试其他的cookie,让拉勾网认为你是第一次上这个网站。 第三步 清除浏览器缓存再去Headers里面你会找到多个cookie值，一个个的试试，我这儿是最后一个可以。 第四步 找到from data，里面的first第一页是true，后面的都是
爬取拉钩 破解拉钩反爬机制
狂躁的辣条的博客
12-15 4085
破解拉钩反爬 实现爬取内容拉钩的反爬很厉害没毛病 老铁！！我们现在来研究一下拉钩的请求头先导入的有一个ip池（get_ip） ip池可以不写 用自己的也不会被封掉还有我是第一次写这些文章 给个 支持呗 谢谢 等我找到工作后 会继续写上爬抖音小视频、火山小视频、YouTube视频 这些东西已经写好来玩了 拉钩的反爬很厉害 我想 看这篇文章的时候 发现 只能爬取到5 6条数据就不能继续的...
python成功爬取拉勾网——初识反爬（一个小白真实的爬取路程，内容有点小多）
cc的博客
02-13 5002
python成功爬取拉勾网（一个小白的心里路程） 最开始想爬取拉钩是因为半年前上python实验课的时候，老师给了两个任务，一个时爬取糗百的笑话内容，另一个时爬取拉勾网的职位信息，当时因为课时紧张的缘故，老师讲解了关于爬虫的相关的库（requests，BeautifulSoup库等）的基本使用方法，发下了爬取糗百网的源码，让我们自己试一试，说是拉勾网不好爬取，目前的水平不够。疫情在家这几天我基本可...
Android与HTML+JS交互入门
热门推荐
李济洲的博客
03-15 5万+
在Android开发中，越来越多的商业项目使用了Android原生控件与WebView进行混合开发，当然不仅仅就是显示一个WebView那么简单，有时候还需要本地Java代码与HTML中的javascript进行交互，Android也对交互做了很好的封装，所以很容易实现例如：点击网页中的按钮Android调用原生对话框，点击网页中的电话号码调用Android拨号APP。这篇给大家介绍下如何实现An
自动化测试验证信息获取：Selenium与页面元素检查
本文主要介绍了在自动化测试中如何获取验证信息，特别是使用Selenium库进行Web自动化测试时的关键知识点。自动化测试用例的执行结果不能仅依赖于是否出现错误，因为机器无法像人类那样进行主观判断。在执行自动化...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alexander plus

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值