基于selenium和bs4的通用数据采集技术（附代码）

已于 2024-05-23 13:55:24 修改
阅读量1.8k 收藏 6
点赞数 23
分类专栏： AI应用开发 文章标签： selenium 测试工具 python 爬虫 数据采集 网络爬虫
于 2024-03-21 15:34:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43128256/article/details/136907273
版权

AI应用开发相关目录

本专栏包括AI应用开发相关内容分享，包括不限于AI算法部署实施细节、AI应用后端分析服务相关概念及开发技巧、AI应用后端应用服务相关概念及开发技巧、AI应用前端实现路径及开发技巧
适用于具备一定算法及Python使用基础的人群

  1. AI应用开发流程概述
  2. Visual Studio Code及Remote Development插件远程开发
  3. git开源项目的一些问题及镜像解决办法
  4. python实现UDP报文通信
  5. python实现日志生成及定期清理
  6. Linux终端命令Screen常见用法
  7. python实现redis数据存储
  8. python字符串转字典
  9. python实现文本向量化及文本相似度计算
  10. python对MySQL数据的常见使用
  11. 一文总结python的异常数据处理示例
  12. 基于selenium和bs4的通用数据采集技术（附代码）

文章目录

一、前言

本文所说的数据采集技术即爬虫，爬虫技术用于从互联网上抓取大量数据。这些爬虫程序能够自动化地访问网页/公众号平台、解析内容，并提取所需的信息。在大数据和机器学习等领域，爬虫技术发挥着至关重要的作用。

数据采集技术为项目提供丰富的数据资源，根据这些信息进行产品设计和创新，持续改进和优化产品。

二、环境配置

pip install beautifulsoup4

pip install selenium

安装WebDriver：Selenium需要WebDriver来与浏览器进行交互。不同的浏览器需要不同的WebDriver。例如，如果你使用的是Chrome浏览器，你需要下载并安装chromedriver；如果你使用的是Firefox浏览器，你需要下载并安装geckodriver。请根据你的浏览器类型，从官方网站或相关源下载对应的WebDriver，并将其放置在系统路径下，以便Selenium能够找到并调用它。

在这里插入图片描述

三、技术策略

http://ytzwfw.sd.gov.cn/yt/icity/project/index

在这里插入图片描述
特性1：翻页后url无变化规律
在这里插入图片描述
特性2：数据爬取分为2阶段，需要在url后再爬取具体数据项的url_son，再针对url_son设计程序采集。

在这里插入图片描述
在这里插入图片描述

特性3：html源码中无法直接获取数据存在形式，仅开发者模式下才能观察到

由此可知该网站具备相当程度的反扒设计。

策略：
设计两个阶段的数据采集程序，克服特点2。
采取selenium自动化框架，克服特点1。
采取bs4数据采集框架，客服特点3。

四、代码实例

step1：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
def get_single_page_data():
    result = []
    for i in range(10):
        try:
            mid_title = driver.find_element(By.XPATH, '//*[@id="itemlist"]/div[' + str(i + 1) + ']/div[1]/a[1]').text
            mid_url = driver.find_element(By.XPATH, '//*[@id="itemlist"]/div[' + str(i + 1) + ']/div[1]/a[1]').get_attribute('onclick')
            mid = [mid_title,mid_title,mid_url.split("'")[-2]]
            # print(mid)
            result.append(mid)
        except:
            print('data error!')
    return result

def write_data_totxt(data:str):
    with open('data.txt', 'a') as f:
        f.write(data)
        f.write('\n')

# 创建一个Chrome浏览器实例
driver = webdriver.Chrome(options=Options(), executable_path=r'C:\Program Files\Google\Chrome\Application\chromedriver.exe')
# 打开目标网页
driver.get("http://ytzwfw.sd.gov.cn/yt/icity/project/index")


data = []
page = 0
while page<= 628:  # 循环页数
    try:
        single_page_data = get_single_page_data() # 抓数据
        for i in single_page_data:
            print(i)
            write_data_totxt(i[0])
            write_data_totxt(i[-1])
        #     /html/body/div[5]/div/div/div[2]/div/a[8]
        driver.find_element(By.CLASS_NAME, 'laypage_next').click() # 翻页
        time.sleep(2)
        page += 1
    except:
        print('page error!')

driver.quit()

爬取结果如下所示：

在这里插入图片描述

step2：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import requests
from bs4 import BeautifulSoup


def get_end_time(url):
    options = webdriver.ChromeOptions()
    # 添加无头模式选项
    options.add_argument("--headless")
    # 创建一个Chrome浏览器实例
    driver = webdriver.Chrome(options=options, executable_path=r'C:\Program Files\Google\Chrome\Application\chromedriver.exe')
    # 打开目标网页
    driver.get(url)
    goal = driver.find_element(By.CLASS_NAME, 'law-time').text
    driver.quit()

    return goal


def getHTMLText(url, timeout=30):
    try:
        r = requests.get(url, timeout=30)  # 用requests抓取网页信息
        r.raise_for_status()  # 可以让程序产生异常时停止程序
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '产生异常'


def collapse_spaces(s):
    while "  " in s:
        s = s.replace("  ", " ")
    return s


def get_single_data(name: str, url: str, data) -> dict:
    html = getHTMLText(url)
    soup = BeautifulSoup(html, 'html.parser')  # 用BeautifulSoup库解析网页
    temps_div = soup.find_all('div', attrs={'class': "table-table"})

    raw_content_ls = temps_div[0].select('td')
    data[name] = {}
    data[name]['实施主体'] = raw_content_ls[0].text
    data[name]['承办机构'] = raw_content_ls[1].text
    data[name]['事项版本'] = raw_content_ls[4].text
    data[name]['办理结果名称'] = raw_content_ls[6].text.replace('\n', '').replace('\t', '').replace('\r', '').replace(' ', '')
    data[name]['法定办结时限'] = get_end_time(url)
    data[name]['是否存在运行系统'] = temps_div[0].select('td[width="30%"]')[-1].text
    data[name]['咨询渠道'] = collapse_spaces(
        temps_div[0].select('td[colspan="3"]')[-3].text.replace('\r', ' ').replace('\t', ' ').replace('\n', ' '))[1:-1]
    data[name]['投诉渠道'] = collapse_spaces(
        temps_div[0].select('td[colspan="3"]')[-2].text.replace('\r', ' ').replace('\t', ' ').replace('\n', ' '))[1:-1]
    data[name]['受理时间、地点'] = collapse_spaces(
        temps_div[0].select('td[colspan="3"]')[-1].text.replace('\r', ' ').replace('\u2003', ' ').replace('\n',
                                                                                                          ' ').replace(
            '\t', ' '))[1:-1]

    return data

titles = []
url_ends = []
with open('data.txt','r')as f:
    mid = f.readlines()
    for i in range(len(mid)):
        if i %2 == 0:
            titles.append(mid[i].strip('\n'))
        else:
            url_ends.append(mid[i].strip('\n'))
print(titles[:10])
print(url_ends[:10])
print(len(titles),len(url_ends))

data = {}
start_index = 800
for index in range(len(titles[start_index:start_index+400])):
    print(titles[index])
    url = 'http://ytzwfw.sd.gov.cn/yt/icity/proinfo/index4ZS?id={url_end}'.format(url_end=url_ends[index])
    print(url)
    try:
        get_single_data(titles[index],url,data)
        print(data[titles[index]])
    except:
        print('error')
print('爬取完成！')

import json

# 将字典转换为JSON格式的字符串
json_string = json.dumps(data, ensure_ascii=False)

# 将JSON字符串写入文本文件
with open('my_dict2.txt', 'w', encoding='utf-8') as file:
    file.write(json_string)
'''
with open('my_dict.txt', 'r', encoding='utf-8') as file:  
    loaded_dict = json.loads(file.read())  
print(loaded_dict)
'''

爬取结果如下所示：
在这里插入图片描述
如有代码需求，欢迎留言、私信我！

20240328更新

可直接抓取政策项、政策子页、政策分类；应对了政策子页反爬手段。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
import json

def get_single_page_data(result):
    for i in range(10):
        mid_dict = {
            'title': '',
            'type': '',
            'page': '',
        }
        try:
            folder_flag = driver.find_element(By.XPATH, '//*[@id="itemlist"]/div[' + str(i + 1) + ']').get_attribute('is_load')
            # 含子页
            if folder_flag:
                # //*[@id="itemlist"]/div[9]/a[2]
                mid_type = driver.find_element(By.XPATH, '//*[@id="itemlist"]/div[' + str(i + 1) + ']/a[2]').text
                mid_page = str(i + 1)
                # //*[@id="itemlist"]/div[9]
                code = 'content' + driver.find_element(By.XPATH, '//*[@id="itemlist"]/div[' + str(i + 1) + ']').get_attribute('folder_code')


                for j in range(20):
                    try:
                        mid_dict = {
                            'title': '',
                            'type': '',
                            'page': '',
                        }

                        # //*[@id="content599a1da2-1581-4422-8f90-edbfa009fe5011370600004260520N"]/table/tbody/tr[1]/td[2]/div/a
                        mid_title = driver.find_element(By.XPATH, '//*[@id="' + code + '"]/table/tbody/tr[' + str(j+1) + ']/td[2]/div/a').get_attribute('text')

                        print(mid_title)

                        mid_dict['title'] = mid_title
                        mid_dict['type'] = mid_type
                        mid_dict['page'] = mid_page

                        result.append(mid_dict)
                    except Exception as e:
                        print('son page error.')
                        print(e)
                        break


            # 不含子页
            else:
                # //*[@id="itemlist"]/div[10]/div[1]/a[1]
                # //*[@id="itemlist"]/div[10]/div[1]/a[2]
                mid_title = driver.find_element(By.XPATH, '//*[@id="itemlist"]/div[' + str(i + 1) + ']/div[1]/a[1]').text
                mid_type = driver.find_element(By.XPATH, '//*[@id="itemlist"]/div[' + str(i + 1) + ']/div[1]/a[2]').text
                mid_page = str(i + 1)

                mid_dict['title'] = mid_title
                mid_dict['type'] = mid_type
                mid_dict['page'] = mid_page

                result.append(mid_dict)

        except Exception as e:
            print('page error.')
            print(e)
    return result


def write_data_tojson(data: dict):
    with open('data.json', 'w', encoding='utf-8') as f:
        json.dump(data, f, ensure_ascii=False, indent=4)


# 创建一个Chrome浏览器实例
#浏览器启动选项
option=webdriver.ChromeOptions()
#指定为无界面模式
option.add_argument('--headless')
driver = webdriver.Chrome(options=option, executable_path=r'C:\Program Files\Google\Chrome\Application\chromedriver.exe')
# 打开目标网页
driver.get("http://ytzwfw.sd.gov.cn/yt/icity/project/index")


data = []
page = 0

result = []
#while page<= 610:  # 循环页数
while page<= 5:  # 循环页数
    try:
        single_page_data = get_single_page_data(result) # 抓数据
        write_data_tojson(single_page_data)
        #     /html/body/div[5]/div/div/div[2]/div/a[8]
        driver.find_element(By.CLASS_NAME, 'laypage_next').click() # 翻页
        time.sleep(2)
        page += 1
    except:
        print('page error!')

driver.quit()
写代码的中青年
关注
专栏目录
网络爬虫数据采集流程
Mr数据杨
09-06 122
本教程系统地介绍了网络爬虫在数据采集中的多种应用及其技术实现。通过学习，你不仅掌握了如何采集各种类型的数据，还了解了应对动态内容和反爬虫机制的技巧。此外，我们深入探讨了如何通过代理服务来提升爬虫的隐匿性和访问灵活性。希望这些知识能够为你在数据驱动的项目中提供强有力的支持，帮助你更高效地利用互联网资源，实现数据的自动化采集和管理。
网络爬虫基础数据采集
最新发布
Mr数据杨
09-07 163
网络爬虫是一种自动化程序，能够根据预定的规则访问和抓取互联网上的网页内容。它通过遍历网站的链接，获取各种类型的数据，如文本、图片和视频等。这种技术在数据收集、信息聚合、市场分析等领域应用广泛。爬虫的基本操作可以概括为：首先发送HTTP请求，接收到目标网站的响应内容，然后对这些内容进行解析，提取出所需的信息，最后将数据存储或进行处理。爬虫程序的核心是其能够通过自动化的方式，高效且系统地获取大量的网页信息。步骤描述发送请求向目标网站发送HTTP请求，类似于手动在浏览器中输入URL。接收响应。
selenium和bs4的联合使用
wildyuhao的博客
03-08 1354
Selenium可以模拟浏览器点击或登录网站的行为。但在获取网站文本上并不方便。可以尝试使用Selenium+bs4获取文本信息。 导入相关库 from selenium import webdriver import time from bs4 import BeautifulSoup 打开网页 url = "https://www.xxx.com" driver.get(url) driver = webdriver.Chrome() 模拟浏览器活动 点击 driver.find_ele
使用Selenium和bs4进行Web数据爬取和自动化(爬取掘金首页文章列表)
weixin_71807218的博客
05-18 1310
Web 数据爬取和自动化已成为许多互联网应用程序的重要组成部分。本文将介绍如何使用 Python 中的两个强大库，即 Selenium 和 Beautiful Soup，来实现自动化操作、网页数据提取以及网页内容分析。并以爬取掘金首页文章列表标题和url为例子进行讲解.
python爬虫selenium和bs4_利用python的bs4和selenium库结合实现动态页面的爬取（爬取天气网上面的历史天气数据）...
weixin_32203421的博客
02-21 391
报告分析需要历史气象数据，查询到天气网上面有历史天气数据，从2011年到2018年，第一次接触爬虫，在网上找了爬取天气网历史数据的python源码，利用bs4库，但是实际操作中发现soup.select( )函数返回的列表总是[ ] (空)，查询发现天气网目前使用的是javascript写的动态页面，可能是为了防止爬虫接入。经过查资料又找到了一种爬取动态页面的方法，经尝试方法有效，写个博客记录一下...
python爬虫selenium和bs4_python爬虫――selenium+bs4爬取选股宝‘利好‘or’利空'股票信息...
weixin_29495899的博客
02-21 254
一.前言。(1)我个人比较喜欢先看结果，再看内容，so,结果如图:(2)信息抓取自选股宝https://xuangubao.cn/(我这里设定抓取加载20页，下面只列举几个)：(3)本次主要应用到了Python：Selenium模拟浏览器行为；BeautifulSoup4进行剖析:(4)运行环境or编译软件：Selenium 3.12.0BeautifulSoup4.6二.实战from bs4 i...
爬虫解析模块（bs4,selenium）
General_zy的博客
01-17 2145
显式等待：设置一个超时时间，每个一段时间就去检测一次该元素是否存在，如果存在则执行后续内容，如果超过最大时间（超时时间）则抛出超时异常（TimeoutException）。隐式等待是全局性的，即运行过程中，如果元素可以定位到，它不会影响代码运行，但如果定位不到，则它会以轮询的方式不断地访问元素直到元素被找到，若超过指定时间，则抛出异常。对于内嵌的页面 selenium 是无法直接定位的，需要使用 switch_to.frame() 方法将当前操作的对象切换成 frame/iframe 内嵌的页面。
Python网络数据采集知识点
weixin_48423550的博客
08-24 490
网络数据采集知识点总结希望对大家有用 爬虫的合法性探讨 法不禁止即为许可 robots协议 隐匿身份 高匿商业代理 TOR（洋葱路由） 爬虫的分类 通用爬虫 定向爬虫 爬虫程序的一般步骤 URL —> Universal Resource Locator URI —> Universal Resource Identifier URI = URL + URN 协议://用户名:口令@域名或IP地址:端口/路径1/路径2/资源名称 https://www.baidu.co
基于python爬虫数据处理_基于Python爬虫的校园数据获取
weixin_39873191的博客
11-28 934
苏艺航 徐海蛟 何佳蕾 杨振宇 王佳鹏摘要：随着移动时代的到来，只适配了电脑网页、性能羸弱的校园教务系统，已经不能满足学生们的移动查询需求。为此，设计了一种基于网络爬虫的高实用性查询系統。它首先通过Python爬虫以HTTP（hypertext transport protocol）分析与模拟方法获取校园教务系统的网页数据，然后对网页数据进行HTTP解析并定位以精确抽取目标校园数据，最后存入高速N...
scrapy爬虫selenium模拟无法登陆和爬取的问题
weixin_42573993的博客
01-16 1287
使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案，它通吃各种数据加载方式，能够绕过客户JS加密，绕过爬虫检测，绕过签名机制。它的应用，使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹，因此无法被网站直接识别和拦截。但是selenium在运行的时候会暴露出一些预定义的Javascript变量（特征字符串），例如"window.naviga...
使用Selenium和bs4的中等博客文章的Web废弃
02-16
使用Selenium和bs4的中型博客文章的Web剪贴 该网络抓取工具主要从事收集数据的工作，以分析中型博客文章的作者和读者档案。 我计划利用潜在狄利克雷分配（LDA）和网格搜索来实施某种主题分析，以查找作家正在发布的热门主题 :grinning_face_with_smiling_eyes: 依存关系： Selenium 美丽的汤4 大熊猫 要求 使用以下命令安装软件包： pip install <软件包名称> 您还需要在系统中安装chromedriver。 您可以在此存储库中找到适用于Win10的最新Chromedriver。 否则，您可以检查以获取操作系统的chromdriver。
selenium+bs4 解析+mysql 抓取bilibili 塔罗师 数据
02-11 595
数据分析bilibili 塔罗师
python爬虫 selenium+bs4爬取京东商品信息 干货版教学
qq_24994275的博客
05-06 1278
python爬虫 selenium+bs4爬取京东商品信息前言整体思路获取url页面解析写入文件完整代码最后 前言 整体思路 在一些网站中多多少少都可以通过requests或者ajax来实现数据的抓取 但是不是全部的页面都是通过AJAX渲染这一种 比如一些网站部门代码就是通过JS计算生成的 淘宝和京东这类的页面中ajax更是包含了许多加密参数 这个时候就要用到selenium爬虫了。 记得需要提前安装好浏览器的驱动 selenium的优势就在于模拟浏览器运行方式访问网站 做到所见即所爬 （在我理解看来应该无
selenium+bs4爬取百度文库
w4n9k的博客
04-17 477
selenium+bs4爬取百度文库 技术难点： 1.百度文库设有反爬机制，使用selenium可爬， 2.百度文库内容是动态加载的，需要模拟滑轮、输入页面搜索进行爬取。 # -*- coding: utf-8 -*- """ Created on 2020/4/9 16:48 @author: wk """ from selenium import webdriver from bs4 imp...
python中bs4做web自动化_实用selenium+python实现web自动化测试第四节
weixin_42523326的博客
02-09 150
本节要解决的问题：如何定位一组元素？场景从上一节的例子中可以看出，webdriver可以很方便的使用findElement方法来定位某个特定的对象，不过有时候我们却需要定位一组对象，这时候就需要使用findElements方法。定位一组对象一般用于以下场景：·批量操作对象，比如将页面上所有的checkbox都勾上·先获取一组对象，再在这组对象中过滤出需要具体定位的一些对象。比如定位出页面上所有...
selenium和BeautifulSoup4学习笔记
weixin_49045960的博客
05-31 240
coding = utf-8 #防止乱码 from selenium import webdriver #导包，使用 selenium 的 webdriver 里的函数 import time #调入 time 函数 browser = webdriver.Chrome() #操控谷歌浏览器，browser 可以随便取，但后面要用它操纵各种函数执行。 browser.get("http://www.baidu.com") #跳转到百度页面 print driver.title # 把...
python 爬虫源码 selenium_Selenium结合BeautifulSoup4编写简单的python爬虫
weixin_39978444的博客
11-26 296
在学会了抓包，接口请求(如requests库）和Selenium的一些操作方法后，基本上就可以编写爬虫，爬取绝大多数网站的内容。在爬虫领域，Selenium永远是最后一道防线。从本质上来说，访问网页实际上就是一个接口请求。请求url后，返回的是网页的源代码。我们只需要解析html或者通过正则匹配提取出我们需要的数据即可。有些网站我们可以使用requests.get(url)，得到的响应文本中获取到...
爬虫实践——selenium、bs4
lucky_chaichai的博客
06-22 575
目录一、浏览器的一般设置二、打开网页并获取网页源码的方式三、HTML解析1、BeautifulSoup2、Selenium的webdriver加入触发动作四、反爬虫操作 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities import urllib.parse import urllib.request from bs4 import Bea
python爬虫selenium和bs4_Python爬虫第四天：Bs4|jsonpath|selenium库
weixin_39915505的博客
11-28 146
内容简述:一:Bs4二:jsonpath三:selenium库一:bs4(BeautifulSoup)1-bs4解析器概述:和lxml相同点:是html和xml解析器,主要功能也是解析和提取数据。不同点:bs4效率没有lxml的效率高，但其API接口灵活好用安装：pip install bs4工具对比:使用：from bs4 import BeautifulSoupA-网上文件生成对象soup =...
下载selenium 和 bs4 的代码
06-06
你可以使用Python的pip工具来下载selenium和bs4库，具体步骤如下： 1. 打开命令行终端（Windows下可以按Win+R键，输入cmd并回车打开，Mac/Linux下可以使用终端应用程序）。 2. 在命令行终端中输入以下命令来安装selenium库： ``` pip install selenium ``` 3. 在命令行终端中输入以下命令来安装bs4库： ``` pip install bs4 ``` 4. 等待安装完成即可。 安装完成后，你就可以在Python脚本中使用这两个库了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

写代码的中青年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值