【selenium爬虫】 selenium自动化爬取京东图书信息

最新推荐文章于 2024-12-31 00:10:42 发布

伏月初五

最新推荐文章于 2024-12-31 00:10:42 发布

阅读量1.1k

点赞数 3

文章标签： python 开发语言后端

本文链接：https://blog.csdn.net/d23135/article/details/122242407

版权

本文介绍了如何利用selenium进行网页自动化操作，包括通过不同方式定位元素，如css选择器、class、id、链接文本等。还提到了自动化函数的应用，如send_keys输入数据、click点击操作，以及执行javascript脚本。此外，还强调了time.sleep()的使用以应对动态加载的内容，同时提供了返回上一页的功能。最后，文章提到了如何定义函数来爬取首页图书链接并进入详情页抓取数据，对于可能遇到的空值情况会抛出异常。

摘要由CSDN通过智能技术生成

一、题目要求:搜索京东图书页，自动点击详情页进入，爬取数据信息并且存储到csv中

二、解题思路：

1、需要下载一个chromedriver.exe。下载地址：ChromeDriver Mirror
注意：需要对应自己谷歌的版本，找一个版本相近的即可，可以复制chromedriver.exe文件的路径并加入到电脑的环境变量中去，方便以后使用。

2、程序运行前需要将chromedriver.exe文件导入到你的程序中


3、导入程序运行所需要的包

from selenium import webdriver   //自动化爬取
import time     //用于程序休息，防止反爬
import numpy as np   //这里所引入是为了随机数的产生

4、selenium一些基本操作