python第二次采集数据小记

最新推荐文章于 2021-07-07 17:12:52 发布

人工智能-肥鹅

最新推荐文章于 2021-07-07 17:12:52 发布

阅读量394

点赞数

分类专栏： Python 文章标签：爬数据采集 python Selenium

本文链接：https://blog.csdn.net/kfyzjd2008/article/details/74790047

版权

当网页数据由JS动态生成导致查看源代码找不到时，可以利用Python的Selenium库模拟浏览器进行抓取。首先安装Selenium，然后配置Chrome浏览器驱动，将驱动放到浏览器安装目录下。在代码中，通过driver.page_source获取页面源代码，可能需要使用time.sleep()确保页面完全加载。此外，还可以选择使用PhantomJS作为无头浏览器进行数据采集。

摘要由CSDN通过智能技术生成

有些网页右键查看网页源代码，里面没有要查找的数据，这是为什么呢?答案是：页面是由JS动态生成出来的。

但是在审查元素中Elements中是有的。

解决方案是 python 有一个第三方库 Selenium 可以模拟浏览器

第一步安装 Selenium

在 cmd 中打开python的Scripts目录。输入python 回车

输入： pip install selenium

安装最新版Selenium

第二步安装浏览器驱动(本人使用的Chrome)

网上找到与浏览器对应版本的驱动后(谷歌为 chromedriver )，下载解压放到浏览器的安装目录下（chrome://version 命令查看路径）

第三步代码部分

chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"	#驱动路径

driver = webdriver.Chrome(chromedriver)		#启动浏览器

driver.get("url")		#打开网址	#驱动路径

driver = webdriver.Chrome(chromedriver)		#启动浏览器

driver.get("url")		#打开网址

driver.page_source #加载完成后返回网页源代码，但是JS动态生成的页面。webdriver并不知道何时加载完毕所以需要用到 time.sleep() 函数延时

使用time函数需要import time 导入