使用selenium webdriver启动浏览器爬取网站数据

最新推荐文章于 2024-07-08 15:04:44 发布
最新推荐文章于 2024-07-08 15:04:44 发布
阅读量1k 收藏 8
点赞数 2
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wj___xx/article/details/105491577
版权

前段时间有个数据源网站突然更新，原本通过websocket爬取的数据突然就gg了。没得办法，只能用最原始的方法来爬取想要的数据了。爬取过不少的网站数据，这里不对爬虫合理合法性做讨论。纯粹分享我知道的一点点技术

网站大体分三种（对于爬虫而言）

⒈网站直接通过接口获取数据（json和页面）。简单的就是通过传一些params来获取不同数据，这种是最简单的。通过requests模块就可以很容易拿到自己想要的数据。json数据好说，直接解析json就可以。另一种是接口返回的是网页源代码，这种稍稍麻烦些，也不难，scrapy这个框架就是好用，xpath也是神器。简单学习下，爬取个网站不在话下。

⒉第二种是网站通过websocket获取数据。这种我原先也觉得简单，不就是用websocket嘛，验证ssl直接关闭就行了嘛。

import websocket


def create_ws():
    try:
        header = [
         
            "User - Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36"
        ]

        ws = websocket.create_connection(
            url='wss://*******',
            timeout=60,
            header=header,
            # subprotocols=["binary", "base64&
最低0.47元/天 解锁文章
言格与甄意
关注
专栏目录
python selenium不启动浏览器 爬取数据的方法
请大家直接把问题写在评论区或留言，不要只说一句"你好 或 在吗"，我会尽快回复的。
12-09 2550
为浏览器驱动 添加一个无头参数。可以实现不开启浏览器 爬取网页 最新版的selenium已经不再支持PhantomJS 源码如下： # -*- coding:utf-8 -*- from selenium import webdriver import time from selenium.webdriver.firefox.options import Options fw=open("E:/pythonTest/zcl.html","w",encoding="utf-8") opt
在macbook pro下如何使用selenium模拟浏览器爬取数据（包含webdriver放到path路径下的方法）
qq_37062414的博客
04-14 1559
最开始试了好多方法把webdriver放到path路径下但是都有问题，找不到他们所说的什么：/user/bin。真的不知道他们是怎么弄的。所以，找了好多方法。最后自己将路径获取就行了： path = "chromedriver的路径" driver = webdriver.Chrome(path) ps: 如何获取chromedriver的路径：下载chromedriver后在fin...
基于selenium框架对当当网图书相关数据爬取
qq_46016629的博客
01-29 889
主要用到了爬虫中selenium框架对悬疑类小说的主标题、副标题、作者、出版社、出版时间、价格及书籍相关信息及评论数的爬取
爬取某DogMusic——selenium.webdriver的使用
yryryrkkx的博客
04-05 224
一、前言 很久没有写了，发现自己就算每一天都会练习代码，但是过了一段时间后仍然会有忘记的可能，所以尝试把这些练习过程记录一下。（再承认一点，确实借鉴了几位前辈大佬的博客代码，那些都是很好的示范，我做的事大概就是，搬运加升级加我的理解，且根据今年酷狗的网页端来进行爬取）。 二、实践 （一）导入所有需要的库 包已经都在这里了，导入库的过程以及库的用法网页上都有，自己搜。 import random import re import json import time import re...
用selenium 自动爬取某一本小说章节及其内容，并存入数据库中
weixin_30307921的博客
06-19 847
1 from selenium import webdriver 2 import pymysql 3 from selenium.webdriver.support.ui import WebDriverWait # 等待 4 from selenium.webdriver.support import expected_conditions as ec # 等待条...
scrapy + selenium + chromedriver爬取动态数据
weixin_30578677的博客
07-27 1188
scrapy是一个网页爬虫框架 安装scrapy推荐使用Anaconda安装 Anaconda安装介绍http://www.scrapyd.cn/doc/124.html 安装后需要配置清华镜像 在 Anacoda prompt中输入 1 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn...
Python selenium + chromedriver 爬取数据
weixin_42947716的博客
12-09 1439
体验了一波selenium爬取某音乐网站数据数据的快乐，决定将基本过程做个记录，避免下次搜索相关知识找不到的情况，也改改自己懒惰的毛病，养成写博客的习惯 selenium：模拟真实的浏览器环境，有些网站的数据是加密的，不能直接通过请求后台数据的方式获取，于是我们可以利用脚本测试工具selenium来控制浏览器从而爬取数据。 一、下载Chorme浏览器对应版本的chromedriver （敲黑板...
selenium webdriver爬取动态网页
12-31
selenium webdriver 爬虫爬取动态网页，里面有chromedriver，windows平台可用，linux需要更换linux的chromedriver。修改代码可爬取其他网站的
利用selenium和chromedriver驱动浏览器爬取网页
人生苦短， 还不用Python？
08-12 618
#!/usr/bin/env python # -*- coding: utf-8 -*- from pymongo.errors import ConfigurationError from selenium import webdriver from selenium.common.exceptions import TimeoutException, WebDriverException f...
关于使用selenium.webdriver爬取数据
最新发布
m0_47669787的博客
07-08 208
暂时对 selenium 库没有一点点了解。先记录一下这个能用的代码。①：由于使用的是谷歌浏览器，所以下载对应浏览器及对应其版本的插件；表示HTML中的预格式化文本。表示HTML列表中的列表项。②：复制要爬取数据的网址；表示HTML中的段落。
python selenium4 使用无界面浏览器 爬虫 并存储mysql数据库
fuchto的博客
04-28 2833
浏览器驱动 需要查看对应浏览器版本进行下载 selenium · PyPIhttps://pypi.org/project/selenium/浏览器设置中查看当前版本 from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By # select 选择框需要引入 select 类 fro...
【selenium爬虫】 selenium自动化爬取京东图书信息
d23135的博客
12-30 1137
一、题目要求:搜索京东图书页，自动点击详情页进入，爬取数据信息并且存储到csv中 二、解题思路： 1、需要下载一个chromedriver.exe。下载地址：ChromeDriver Mirror 注意：需要对应自己谷歌的版本，找一个版本相近的即可，可以复制chromedriver.exe文件的路径并加入到电脑的环境变量中去，方便以后使用。 2、程序运行前需要将chromedriver.exe文件导入到你的程序中 3、导入程序运行所需要的包 from selenium import webdr.
[python爬虫] Selenium爬取内容并存储至MySQL数据库
热门推荐
杨秀璋的专栏
03-13 2万+
前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息。通常，在使用Selenium爬虫爬取数据后，需要存储在TXT文本中，但是这是很难进行数据处理和数据分析的。这篇文章主要讲述通过Selenium爬取我的个人博客信息，然后存储在数据库MySQL中，以便对数据进行分析，比如分析哪个时间段发表的博客多、结合WordCloud分析文章的主题、文章阅读量排名等。 这是一篇基础性的文章，希望对您有所帮助，如果文章中出现错误或不足之处，还请海涵。下一篇文章会简单讲解数据分析的过程。
python 使用selenium爬取网页并分类保存到本地文件夹
no_do的博客
06-14 1742
以上是咱们今天要爬取的图片，可以看到这个游戏壁纸主题有35页，咱们不是要爬取这35 页的图片。这个页面的尺寸也不是高清原图。我们发现点进去后能看到高清图，如下：         这个就是咱们想要的内容了，这个页面主图是只有一张，蒙多这个主题是有10张的，我们可以在主图上点击下一页，跳转到下一张。这里很适合我们使用selenium去爬取了。         直接来分享我的爬取思路吧，代码如下： from se.
使用Selenium模拟浏览器爬取动态加载数据
本PPT详细阐述了动态加载数据的爬取策略，包括逆向分析和Selenium模拟浏览器的使用，以及数据存储至数据库的技巧。这些知识对于数据科学家、Web开发者和爬虫工程师来说都是非常实用的，能够帮助他们更好地应对复杂...
爬虫_selenium.webdriver
weixin_56025182的博客
05-09 85
参考：https://blog.csdn.net/weixin_40331132/article/details/124637868。xpath和css可以直接复制从浏览器使用（精准定位，代码比较长），也可自己查看网页元素编写（代码比较短，自己查看网页元素麻烦）3版本的find_element_by_class_name()在4版本会报错。其他同理，需要换成find_element()或find_elements()推荐xpath、css、id。
python 爬虫源码 selenium_python爬虫——selenium爬取websocket的网站数据的简单实现
weixin_39552204的博客
11-26 314
1、目标网址：https://eosflare.io/whales 2、通信机制：websocket 3、python代码import timeimport jsonfrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support ...
使用 Selenium 爬网站数据
Damien_J_Scott的博客
05-16 534
最新需要帮一个同事爬一个网站的数据，但是这个网站的页面跳转都是做的ts跳转并没有明文链接，而且uri也是全部被replce了的，所以用request做不了，只能老老实实用selenium模仿用户点击去爬了，虽然要慢一些。 https://blog.csdn.net/qq_43965708/article/details/120658713 https://zhuanlan.zhihu.com/p/111859925 环境准备 首先肯定是安装selenium pip install selen.
已解决，selenium 接管浏览器问题
weixin_42375356的博客
11-27 1914
关于每次调试 自动登录.py 都要重新打开一次浏览器（chrome）解决方案 问题产生：编写自动化/自动登录脚本时，每次Run程序都要重新打开一次浏览器窗口，而且不便于脚本和人工接管测试 资料检索关键字：selenium 浏览器接管 @Author ：xiaozhu_sai 解决步骤： 1.在cmd中输入 chrome.exe --remote-debugging-port=54786 --user-data-dir="C:\selenum\AutomationProfile" 以管理员身份打开 –re
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值