selenium li标签怎么点击_python+selenium+pyquery实现数据爬虫

本文介绍了如何使用Python的Selenium库和PyQuery解析动态网站中li标签的内容,以爬取某采购网站的招标信息,包括标题、链接和时间,并将数据保存到Excel。
摘要由CSDN通过智能技术生成

提前声明一下,我写这个代码只是为了个人方便,读者切勿用作非法或者商业用途使用。

目标: 

      首先我们本次爬虫的任务是完成某采购网站的信息爬取,省去人工耗费的时间。快速筛选出我们的需要的指定信息。然后将招标信息的标题、链接、和时间找出来,并保存到Excel。

工具:

  • python3

  • chrom浏览器及dirver驱动

  • mysql

  • pyquery、selenium、等库的了解

思路:

       当我们完成上述的准备工作之后就是研究目标网站的结构了。通过简单的点击查看等操作,我们发现这个网站是一个动态网站,对应的内容都是javascript来动态加载的,普通的requests肯定不能获取到随时变化的内容了。所以我们选择selenium工具来模仿人的点击操作,获取网页源码,然后

提取出对应的信息了。

1c381abd00826a1ee83c05bb83f126ef.png

话不多说,直接看代码:

# -*- coding: utf-8 -*-# @Time : 2020-11-08 15:50# @Author : Administratorimport xlwt, refrom time
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值