python selenium.webdriver 爬取政策文件

已于 2023-07-21 14:45:50 修改
阅读量3.6k 收藏 11
点赞数 1
分类专栏： python爬虫入门教程 python机器学习和数据挖掘 文章标签： python selenium 爬虫
于 2023-07-16 00:50:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46530492/article/details/131745969
版权

文章目录

获取文章链接

获取中央人民政府网站链接，进入国务院政策文件库，分为国务院文件和部门文件（发改委、工信部、交通运输部、市场监督局、商务部等）
在这里插入图片描述
搜索关键词——汽车，即可得到按照 相关度 或者 时间 排列的政策文件。
在这里插入图片描述

批量爬取政策文件

批量获取文件链接并存入列表

应用selenium爬取文件信息

利用xpath定位链接、索引号、标题、发文机关、发文字号、主题分类、成文日期、发布日期、文件内容等信息。

右侧通过光标定位各部分信息，右键点击 copy 并选择 copy xpath即可复制xpath路径。
在这里插入图片描述

  • 完整代码
from selenium import webdriver
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Cachel wood
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
Python爬虫-某政务网站文档爬取，并将正文内容保存在word
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
07-03 2903
将上述地址进行base64.b64decode转码获取url之后，使用浏览器（笔者这里用的google浏览器）打开之后，直接F12启动开发者工具。首先，假设存在一个mongo数据库，我们将采集的数据存入到mongo，后期通过url是否存在mongo而进行url去重。注意这里的“\”以文件夹进行层级分开，如果不需要层级区分，直接将这个“\”去掉即可。：以某政务网网站为例，采集其正文内容，并将其正文内容以docx格式保存为word。最后，查看Preview的时候，基本可以看到想要的目标数据都在该接口地址里面。
使用Python爬取政府公开数据获取统计信息和公共政策
2201_76125393的博客
07-04 2430
通过使用Python编写爬虫程序，我们可以从政府公开数据平台上获取统计信息和公共政策数据，帮助人们更好地了解社会和政府的发展动态。本文简要介绍了爬虫程序的准备工作、网页解析和数据提取、数据的保存和处理的关键步骤，并提供了一个示例代码。在实际应用中，我们需要遵守政府公开数据平台的使用规则和爬虫道德准则，确保合法、合规地进行爬取操作。通过使用爬虫程序，我们可以方便地获取政府公开数据平台上的统计信息和公共政策数据，促进社会的透明度和公众参与。
python爬虫爬取政府网站关键字
zzz1048506792的博客
08-08 6607
** 功能介绍 ** 获取政府招标内容包含以下关键词，就提取该标书内容保存（本地文本）1，汽车采购2、汽车租赁3、公务车4、公务车租赁5、汽车协议供货6、汽车7、租赁 爬取网站 http://www.lxggzyjy.com/f/newtrade/annogoods/list?selectedProjectType=2 作者： speed_zombie 版本信息： python v3.7.4 运行...
爬虫入狱笔记——xx政府网站公开政策数据
Anne_Stewart的博客
04-07 1515
爬虫学习笔记，爬取xx政府网站公开政策数据，XHR断点，JS调试。 请求头，请求参数，POST请求 图灵IT何老师视频学习笔记
Python爬取国家政务服务平台关键词搜索的文件并分类存到CSV中
青风learing
02-18 2248
# 成果爬取国家政务服务平台，关键词“突发事件”,获取连接列表 # -*- encoding:utf-8 -*- import urllib.request from bs4 import BeautifulSoup # 导入urllib库的request模块 import lxml #文档解析器 import os ...
用爬虫抓取美联储演讲数据并分析金融政策
wangzhezhilu001的专栏
09-24 887
用python抓取美联储数据 近日，笔者选择了一个任务，用爬虫抓取美联储演讲数据，并分析相关金融政策。 首先必须做的，是抓取数据。 打开美联储的网站Federal Reserve Board - Home。然后，找到美联储关键人物的演讲的网站：Federal Reserve Board - Speeches of Federal Reserve Officials。 打开一个演讲，如Introductory remarks by Chair Powell at "Fed Listens: Perspe
python3.6.国家政策文本分析代码
热门推荐
Luzichang的博客
02-24 1万+
根据学习至今的python，和导师吩咐的方向，一共做了5件事： 1.政府网http://www.gov.cn/index.htm中养老政策特殊文本爬取与保存。 2.基于的TF/IDF多文档关键词抽取。 -基于TF-IDF算法的关键词抽取（原文：https://blog.csdn.net/zhangyu132/article/details/52128924） import jieba....
Python爬虫 获取政府网站公示数据并保存到MongoDB数据库
Hibiki's Ending
11-16 1万+
前言 在上一篇文章 https://blog.csdn.net/xHibiki/article/details/84134554 中,我们介绍了Mongo数据库以及管理工具Studio3T和adminMongo的下载安装,这次,我们结合Python爬虫和第三方模块Pymongo,爬取政府网站:深圳市规划和国土资源委员会（市海洋局）,来学习MongoDB数据库和管理工具的的使用方法. 文档型数据...
python+selenium自动截取政府官网及失信公示平台搜索结果图
moser_freshman的博客
08-16 2349
在债券融资部门实习时，由于要检查发行人资信状况，可能需要去各大部委及细分监管部门的官网和失信公示平台搜集数据并截图，这项工作不仅要针对发行人还要截取重要的子公司及联营企业的信息，而发行人往往资产规模庞大，子公司及联营企业众多，手工截图是一项非常无聊的活，动辄要占用几天的时间，为实现技术性摸鱼，我们可以利用下面代码简化上述任务，目前此为原始版本，还需完善，但是已经让我们看似忙碌工作，其实愉快摸鱼。 ...
python网络安全的书信_python爬取北京政府信件信息02
weixin_39762478的博客
12-05 89
在爬取详细信息页面中，又遇到了问题，就是标签内的信息爬取，用re的正则表达式没有找到解决办法，只能又去网上搜索解决办法用bs4来解决，用soup = BeautifulSoup(text,"html.parser")#解析text中的HTML来进行分析，虽说这样会有标签信息附着，从网上找到解决办法，第一种方法调用find(text=True).strip()第二种方法调用stripped_stri...
用python实现一个政府类网站通用爬虫模板
weixin_42589700的博客
02-15 833
当然，以下是一个用Python编写的政府类网站通用爬虫模板的示例代码： import requests from bs4 import BeautifulSoup def government_crawler(url): # 发送请求 response = requests.get(url) # 解析HTML soup = BeautifulSoup(respon...
Python-selenium爬取.xmind
最新发布
05-21
selenium 定义 Selenium是一个用于自动化... 新建python文件，导入selenium中的webdriver from selenium from webdriver 下载webDriver 网址 https://googlechromelabs.github.io/chrome-for-testing/ 将下
selenium webdriver爬取动态网页
12-31
标题中的"Selenium WebDriver爬取动态网页"表明我们将重点讨论如何利用这个工具来抓取那些通过JavaScript加载内容的页面。例如，许多新闻网站、社交媒体和电子商务平台都使用动态加载技术，使得传统爬虫难以捕获完整...
通过python的selenium框架爬取考试宝典题目
03-30
本篇将详细介绍如何利用Python的Selenium框架来爬取“考试宝典”网站上的题目。 首先，我们需要了解Selenium的基本原理。Selenium是一个自动化测试工具，但同时也常被用于网页爬虫，因为它可以模拟用户的真实行为，...
python使用webdriver爬取微信公众号
01-20
本文实例为大家分享了python使用webdriver爬取微信公众号的具体代码，供大家参考，具体内容如下 # -*- coding: utf-8 -*- from selenium import webdriver import time import json import requests import re ...
python3+selenium爬取百度图片
12-21
python3+selenium爬取百度图片 from selenium import webdriver from lxml import etree from urllib import request import time class Baidu_pic(object): def __init__(self,kw): self.kw = kw options = ...
对于政府网站下发的文件进行爬取,减少人去下载的过程
weixin_45342712的博客
08-01 1536
如果你对python感兴趣，我这有个学习Python基地，里面有很多学习资料，感兴趣的+Q群：688244617 import re import requests from lxml.html import etree url = 'http://www.liyang.gov.cn/default.php?mod=article&fid=163250&s99679207_st...
贵州人民政府公开的全部通知文件爬取
m0_73639297的博客
04-24 143
通过爬取政府官网上的信息，可以不断更新和补充政务服务领域的实时数据和信息，丰富了知识库内容。这些数据可以被系统用于提供更准确和及时的政务服务问答，帮助用户更快速地获取需要的信息。同时，这些数据还可以被用于进行数据分析和挖掘，为政府部门和相关机构提供更深入的洞察和决策支持。通过不断地爬取和更新数据，政务服务问答系统的知识库将变得更加全面和权威，为用户提供更好的服务和支持。以上代码是一个简单的爬虫程序，用于从贵州省政府官网获取关于政务信息的相关数据，包括链接、标题、文件性质和公布时间，并将数据保存在名为"
python爬取某省财政政策内容并保存为csv文件，最后用excel打开
weixin_44783823的博客
08-21 2266
目标网址 要求 保存形式 分析 代码及主要注释 csv文件用excel打开问题
python selenium按星爬取亚马逊商品评论
09-04
使用Python和Selenium可以轻松地按星级爬取亚马逊商品评论。以下是一个基本的步骤指南： 1. 导入必要的库和模块： ```python from selenium import webdriver from selenium.webdriver.common.keys import Keys ``` 2. 创建一个WebDriver对象，并打开亚马逊网站： ```python driver = webdriver.Chrome() # 使用Chrome浏览器 driver.get("https://www.amazon.com/") # 打开亚马逊网站 ``` 3. 在搜索框中输入商品名称或关键字，并点击搜索按钮： ```python search_box = driver.find_element_by_id("twotabsearchtextbox") # 找到搜索框元素 search_box.send_keys("商品名称或关键字") # 输入商品名称或关键字 search_box.send_keys(Keys.RETURN) # 模拟回车键 ``` 4. 过滤并选择所需的星级： ```python star_rating = driver.find_element_by_xpath("//span[@aria-label='4 stars & up']") # 找到星级过滤器元素 star_rating.click() # 点击星级过滤器 ``` 5. 开始爬取评论： ```python review_elements = driver.find_elements_by_class_name("review") # 找到评论元素 for review_element in review_elements: review_text = review_element.text # 获取评论文本 print(review_text) # 打印评论文本 ``` 6. 继续翻页并重复步骤5，直到爬取到足够的评论为止： ```python next_page = driver.find_element_by_class_name("a-last") # 找到下一页按钮元素 next_page.click() # 点击下一页按钮 ``` 上述步骤提供了一个基本的框架，您可以根据具体需求进行进一步的修改和扩展。请注意，亚马逊网站的布局和元素选择器可能会随时更改，因此需要进行适当的更新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cachel wood

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值