在requests_html里更改用到的User Agent

最新推荐文章于 2024-05-29 23:15:31 发布
最新推荐文章于 2024-05-29 23:15:31 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xjtugrw/article/details/84820564
版权

         在网络爬虫时有时会由于所爬网页对User Agent的限制而导致网络连接失败，此时可以在get方法里增加UA参数来修改。常用的浏览器的UA如下：

         遨游：

         "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"

         火狐：

         "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"

         谷歌：

         "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.9“

         在requests_html库里的session.get方法中加上参数

session.get(mainUrl, headers={'user-agent': UAProfile})

 

进击的霸权
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
html抓取 useragent,navigator.userAgent获取浏览器信息(类型及系统)
weixin_35588980的博客
06-07 1060
浏览器对于我们来说，可能是最熟悉的工具了。熟知的浏览器Firefox、Opera、Safari、IE、Chrome以外，据说世界上还有近百种浏览器。通常在开发的时候要做到兼容各种浏览器，因此提炼出判断浏览器类型及系统是很重要的。先来看看什么是User-Agent？User-Agent是HTTP请求中的用户标识，一般发送一个能够代表客户端类型的字符串，比如浏览器类型 操作系统等信息。User-Age...
爬虫请求、解析、js渲染于一体---requests-html库
西北一条虫的博客
10-07 1713
https://www.jianshu.com/p/72a1f57b333a 常用方法介绍 一、请求url获取基本响应对象 与我们熟悉的requests请求不同的是，requests-html默认使用session保持的请求方式，且其返回内容是一个带有丰富方法的对象。 基本请求网址方式：HTMLSession.get() import requests_html session...
python爬虫学习（3）——requests实战1（UA检测和UA伪装）
最新发布
m0_72811193的博客
05-29 776
520那天我向心仪的女孩要微信：“女神，能给我你的微信号吗？女神：“给我——！！！！从那天开始，我就决定要学好爬虫，爬到女神微信号！！！
【总结】浏览器 User-Agent 大全
oYangYongJie的博客
09-14 1万+
【总结】浏览器 User-Agent 大全
User-Agent html(将数据以网页形式展示) 文件夹 join() 打包
塔克米的博客
02-28 874
一: 使用python的第三方包来获取User-Agent1. 在cmd命令行中输入: pip install fake_useragent2. 在代码中引用该包:    from fake_useragent import UserAgent3. 使用该包:    ua = UserAgent()    'User_Agent': ua.random二: 从网页上爬取的数据以简单网页形式展示1....
Web端-缓存数据及user_agent修改
m0_37434465的博客
10-29 1479
web端缓存数据修改方法
user-agent.txt 移动端&PC;端，模拟浏览器
10-24
在爬虫开发过程中，我们可能会遇到某些网站针对特定浏览器或设备进行限制的情况，这时就需要用到User-Agent模拟，以便正常抓取网页内容。 描述中提到的"user-agent-pc.txt"和"user-agent-mobile.txt"分别代表了PC...
dianping_0207.rar_python excel _python大众点评_python爬数据_大众点评_爬数据
09-19
这可能包括设置合适的请求间隔（使用time.sleep()）、使用代理IP、随机User-Agent、模拟登录等方法。同时，遵守网站的robots.txt规则，不进行非法爬取，也是非常重要的。 此外，考虑到“python大众点评”这个标签，...
rotten_tomatoes_scraping：在轮虫上刮擦顶级电影和电视鞋
02-24
应对这些策略，我们可以设置合理的请求间隔，使用代理IP，以及修改User-Agent信息。 - **数据解析**：HTML结构可能会经常变化，因此我们需要编写灵活的解析规则，适应网站布局的调整。BeautifulSoup提供了多种搜索...
JD_python爬虫_
10-04
对此，你可能需要用到`session`管理Cookie，修改`headers`添加User-Agent，或利用`selenium`等工具模拟浏览器行为来获取动态内容。 此外，注意遵守网站的robots.txt文件规定，尊重网站的爬虫政策，避免对服务器造成...
jisuanke_python爬虫_
09-30
Python爬虫还涉及到反爬策略，如设置User-Agent防止被识别为机器人，使用代理IP绕过访问限制，以及使用`requests.Session`管理会话以提高效率。 此外，高级爬虫可能会用到`Scrapy`框架，它提供了更全面的爬虫项目...
Requests模块设置Header的User-Agent
热门推荐
小龙狗的博客
05-26 1万+
何时用到 User-Agent 在使用 Python 的 Requests (等类似模块) 模拟浏览器向服务器发送 Http 请求时，通常需要设置 Request Header ，而其中较为关键的一项就是 User-Agent ，由于某些网站会设置对 User_Agent 反爬虫机制，因此我们发送 Http 请求时必要的加上 User-Agent 来标明访问者的信息。 从哪里能找到 User-Agent 打开浏览器的开发者选项 选择 Network 打开一个请求文件 在 Headers 里可以看到 Req
爬虫入门04——requests库中的User-Agent请求头
xjl243636988的博客
07-06 4742
QQ浏览器 Android版本。世界之窗（The World）傲游（Maxthon）浏览器
修改浏览器User-Agent
weixin_30872867的博客
01-10 811
IE： 1，F12进入开发人员工具 2，工具->更改用户代理字符串->自定义 3，在“友好名称”中填入"IE9"，在“用户代理字符串”中填入"ie_user_agent"，然后点击“添加”按钮 4，选择新添加的User-Agent，点击“设置”按钮设为当前User-Agent 修改前： GET http://www.baidu.com/ HTTP/1.1 Host...
安装requests-html,requests-html的安装与使用
weixin_30689519的博客
06-18 1476
使用requests-html单一库完成简书首页获取(包含请求、解析、JavaScript渲染功能)一：安装sudo pip installrequests-html# -*- coding: utf-8 -*-import requests_htmltext_url = 'https://music.line.me/album/mb00000000012ac6c9'user_agent = r...
1 爬虫入门 requests模块 UA伪装
健浩的博客
07-03 1053
爬虫 1 爬虫介绍 1.1 什么是爬虫 爬虫是通过编写程序来模拟浏览器上网，然后从网页中抓取数据的过程。 1.2 分类 1.2.1 通用爬虫与聚焦爬虫 通用爬虫：抓取一张网页的全部源码。 聚焦爬虫：抓取一张网页中的局部内容。 聚焦爬虫是建立在通用爬虫的基础上的。 1.2.2 增量式爬虫与分布式爬虫 增量式爬虫是在上一次爬虫的基础上继续爬取数据，适用于继续爬取因故未爬完的数据或网站更新的数据； 分布式爬虫是在多个服务器上部署爬虫程序，是一种提高爬取效率的方法。 1.3 反爬机制与反反爬策略 反爬机制 反爬机制
Python爬虫：HTML网页解析方法小结
m0_59162248的博客
03-25 5285
学过requests库的看到requests-html的api应该会很熟悉，使用方法基本一致，不同的是使用requests编写爬虫时，要先把网页爬取下来，然后再交给BeautifulSoup等一些html解析库，现在可以直接解析了。（4）requests-html 是比较新的一个库，高度封装且源码清晰，它直接整合了大量解析时繁琐复杂的操作，同时支持DOM解析和XPath解析两种方式，灵活方便，可以尝试。”**在csdn看到过一篇比较好的文章，讲的很实用，大家伙可以移步去看看，链接分享在下方。
互联网精准广告定向技术: 一切你该了解的知识总结与整理
shengshaoyou的专栏
06-04 1万+
互动中国编者前言：本文来自于读者的投稿(牛国柱博客)，原文作者为资深互联网广告行业从业者，经过一段长时间的积累，从基础知识、技术应用以及在线广告作弊手段整理和反作弊方法三大角度，共计15篇系列专文，对于精准广告定向技术的介绍进行了一个全面且切实的总结与全景介绍。非常感谢您的投稿与分享。 以下为原文： 截止今天，关于精准广告定向技术的介绍已经全部写完。介绍的写作初衷是总结自己的知识，将知识从片段
import re import requests from lxml import etree import numpy as np import pandas as pd from lxml import etree import numpy as np import requests headers= { # 模拟浏览器头部信息，向豆瓣服务器发送消息 "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122 Safari / 537.36" } #url="https://www.5iai.com/#/jobList" url="https://www.5iai.com/#/jobList" response = requests.get(url,headers = headers) response.encoding = 'utf8' html = response.text root = etree.HTML(html) #node_list = root.xpath('//span[@class="datePay"]/text()') #/ul/li/div[@class='jobInfo']/span node_list = root.xpath('/html/body/div[3]/div/div[4]/div[1]/ul/li[2]/div[1]/a/text()') print(node_list) #保存为txt np.savetxt('C:/Users/11148/Desktop/77/daijing_list.txt',node_list,fmt='%s') 检查一下该代码是否有误
06-08
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36" } url = "https://www.5iai.com/#/jobList" response = requests.get...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值