PythonWebCrawler-模拟浏览器爬取信息

最新推荐文章于 2024-05-12 10:00:56 发布
最新推荐文章于 2024-05-12 10:00:56 发布
阅读量984 收藏
点赞数
分类专栏： PythonNewHere 文章标签： 浏览器 网络 爬虫 调试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/junloin/article/details/76435314
版权
在爬取某些网站时遇到403错误，可以模拟浏览器进行登录以绕过反爬限制。通过查看浏览器的Network面板获取User-Agent信息，然后利用Python的`build_opener()`或`add_header()`方法修改HTTP请求的报头，实现爬虫伪装成浏览器进行访问。
摘要由CSDN通过智能技术生成

有时候爬取一些网站会出现403的错误，因为这些网站采取了一些反爬设置。
我们可以让爬虫模拟成浏览器去登录

怎么模拟成浏览器呢 - -User-Agent信息

打开一个网页，进入调试模式，点击Network选项卡，按一下F5，刷新一下，然后在name列表中，随便找一个网址点击
，这里写图片描述
Header选项卡，往下拉，找到一个User-Agent的信息，如果没有的话，换一个网址找
这里写图片描述

得到信息 User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36

有两种方法让爬虫模拟承浏览器访问网页的设置方法

最低0.47元/天 解锁文章
Fu4ng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python-WebCrawling
03-08
Python爬行-BeautifulSoup和Selenium ##### Law 360网站爬行 登录 案例搜索 ????
Python Web Crawler
10-07 123
Python版本：3.5.2 pycharm URL Parsing¶ https://docs.python.org/3.5/library/urllib.parse.html?highlight=urlparse#urllib.parse.urlparse >>> from urllib.parse import urlparse >&gt...
[转]用python爬虫抓站的一些技巧总结
持续改进...........
08-20 194
用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写google music的抓取脚本的，结果有了强大的gmbox，也就不用写了。-这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simplecd这个半爬虫半网站的项目，累积不少爬虫抓站的经验，在此...
Python | Web Crawler
JacobTsang的博客
08-06 1796
1）爬虫心法 : 做个正常访问者 Example：直接网络连线，不添加任何Header #抓取电影源码 import ssl import urllib.request as request context = ssl._create_unverified_context() src = 'https://www.ptt.cc/bbs/movie/index.html' with reques...
python crawler(2)
VergiL Wang的专栏
07-20 142
以前写过一篇使用python爬虫抓站的一些技巧总结，总结了诸多爬虫使用的方法；那篇东东现在看来还是挺有用的，但是当时很菜（现在也菜，但是比那时进步了不少），很多东西都不是很优，属于”只是能用”这么个层次。这篇进阶篇打算把“能用”提升到“用得省事省心”这个层次。 一、gzip/deflate支持 现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本2...
python crawler
05-07 75
python crawler http://www.scriptlearn.com/archives/1005 posted on 2010-05-07 14:...
python-crawler
zhonglihu的博客
06-10 1373
Requests pyquery 要用的python的两个库 - Requests 向webserver发http请求 - pyquery 像jquery一样解析htmlRequests手册： http://docs.python-requests.org/zh_CN/latest/user/quickstart.html单个请求完全没必要用 Session。直接 requests.get(xx
Python Crawler(Douban Top250)
Hhhhhaohao的博客
08-18 1432
Python Crawler Overview To obtain the Top250 movie information on Douban: http://movie.douban.com/top250 The relating information contains name, rating, judging number, general information, and link. Douban Top250 One page contains 25 pieces and there are
Python crawler based on python 3
Faithor的博客
02-17 526
初学python，学着写了一个爬虫玩玩这个爬虫能够爬取千图网上指定的一部分图片，因为千图网更新速度很快，所以本爬虫可能有时限性这里用到的知识点有：1. requests库2. BeautifulSoup库3. os库import requests from bs4 import BeautifulSoup import re import os class bgCrawler(): def m...
github上的python爬虫项目_GitHub - ahaharry/PythonCrawler: 用python编写的爬虫项目集合
weixin_39950764的博客
12-10 149
PythonCrawler: 用python编写的爬虫项目集合()\ ) ) ) ( ((()/( ( ( /( ( /( )\ ( ) ( ( )\ ( (/(_)))\ ) )\()))\()) ( ( (((_)...
简单的crawler,python
03-18
NULL 博文链接：https://ipython.iteye.com/blog/685835
webcrawler
04-24
webcrawler 如果能够模拟一个没有界面的浏览器,还有什么不能做到的呢? 我选择了HtmlUnit,可以说是一个java版本的无界面浏览器, 几乎无所不能,而且很多东西都封装得特别完美
Python【Crawler】1-通用爬虫
TCP404
09-26 454
基本使用
PythonCrawler-入门级爬虫学习
逐梦者
05-25 3968
Python 爬虫 最近在学 PythonPythonPython，找了一个入门级的 CrawlerCrawlerCrawler 代码进行学习，双管齐下。(#^.^#) 仅供个人学习 PythonPythonPython 和爬虫入门使用，也欢迎大佬们指点。 目标分析 目标： 百度百科 Python 词条相关词条网页-标题和简介 入口页： URL： http://baike.ba...
【Python】Crawler简单实现
quchen528的博客
07-22 349
'''Implement a crawler program, grab the novel, save the novel content to a file''' import requests import bs4 import re import time # ButifulSoul4的缩写 # 1. 先构造一个 HTTP请求，把这个请求发送出去获取到响应 # 既能打开内容页，也能...
Python_Crawler专题
新手小白
01-27 299
python 爬虫摘录
Python-crawler：从新手到专家的爬虫之旅
最新发布
gitblog_00099的博客
05-12 341
Python-crawler：从新手到专家的爬虫之旅 项目地址:https://gitcode.com/Ehco1996/Python-crawler 项目介绍 Python-crawler 是一个精心设计的Python爬虫教程集合，旨在帮助初学者系统地掌握Python爬虫技术。该项目由一位经验丰富的技术爱好者创建，通过一系列逐步指导的文章，覆盖了从基础的BeautifulSoup爬虫到复杂的Sc...
Python crawler（二）：BeautifulSoup的安装及使用
DamianGao的博客
01-18 781
原教程来源于imooc链接地址：http://www.imooc.com/learn/5631、BeautifulSoup的安装 安装pip，Pycharm自带pip，不用安装 检查pip是否已安装，进入D:\Python\Scripts，用dir命令查看pip是否存在。 用pip install bs4命令，安装bs4 安装成功 2、实例测试from bs4 import BeautifulSou
python_Crawler的学习
weixin_43895083的博客
12-08 283
使用python+bs4实现Crawler
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值