Python爬虫实战(基础篇)—24—爬取水利建设市场监管平台—从业单位信息公开

专栏导读

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 🌸 欢迎来到Python办公自动化专栏—Python处理办公问题,解放您的双手

  • 🏳️‍🌈 博客主页:请点击——> 一晌小贪欢的博客主页求关注

  • 👍 该系列文章专栏:请点击——>Python办公自动化专栏求订阅

  • 🕷 此外还有爬虫专栏:请点击——>Python爬虫基础专栏求订阅

  • 📕 此外还有python基础专栏:请点击——>Python基础学习专栏求订阅

  • 文章作者技术和水平有限,如果文中出现错误,希望大家能指正🙏

  • ❤️ 欢迎各位佬关注! ❤️

1、库的介绍

  • 爬虫库requests

2、库的安装

用途 安装
requests 控制打开Excel的软件 pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple/
openpyxl 控制打开Excel的软件 pip install openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple/
os 获取绝对路径 内置库无需安装

3、核心代码

  • ①:代码1获取全部公司ID

在这里插入图片描述

  • ②:二次请求进行写入

4、代码1:请求所有单位

# -*- coding: UTF-8 -*-
'''
@Project :测试 
@File    :爬虫1.py
@IDE     :PyCharm 
@Author  :一晌小贪欢(278865463@qq.com)
@Date    :2024/10/28 下午11:09 
'''
import json
import openpyxl
import requests



wb = openpyxl.Workbook()
ws = wb.active
ws.append(['企业名称', '单位类别', '所属省市', '单位性质', '注册资本金', '成立日期', '统一社会信用代码', '发证机关',
           '登记注册类型', '企业承诺书', '安全生产许可证', '安全许可证发证机关', '安全许可证有效期至',
           '安全生产许可范围', '单位网址', '经营范围', '主营业务', '注册地址', '注册地址邮政编码', '经营地址',
           '经营地址邮政编码'
Python爬取水利部的过程可以通过以下步骤实现: 1. 引用requests、re、BeautifulSoup和pandas等库。 2. 设定要爬取的网址和用户代理。 3. 使用requests库发送HTTP请求获取网页内容,并将编码设置为UTF-8。 4. 使用BeautifulSoup库解析网页内容,根据特定的标签和属性提取目标数据。 5. 根据需要的数据结构,将提取到的数据存储在DataFrame中。 6. 将DataFrame中的数据保存到CSV文件中。 具体代码如下所示: ```python import requests import re from bs4 import BeautifulSoup from pandas import DataFrame url = 'http://www.gov.cn/zhengce/zuixin.htm' UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36' headers = {'User_Agent': UA} # 发送HTTP请求获取网页内容 r = requests.get(url, headers=headers) r.encoding = 'utf-8' # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(r.text, 'lxml') # 提取标题和链接 links = soup.find_all(href=re.compile('content')) titles = [str(link.string) for link in links] urls = [str(link.get('href')) for link in links] # 提取日期 attrs = {'class': 'date'} dates = soup.find_all(name='span', attrs=attrs) pattern = re.compile('(\d{4})-(\d{2})-(\d{2})') days = [re.search(pattern, date.string).group() for date in dates] # 存储数据到DataFrame data = {'date': days, 'title': titles, 'url': urls} frame = DataFrame(data) # 将数据保存到CSV文件 frame.to_csv('test.csv', index=False) ``` 这段代码使用requests库发送HTTP请求获取水利部网页的内容,然后使用BeautifulSoup库解析网页内容,提取出标题、链接和日期等关键信息。最后,将提取到的数据存储在一个DataFrame中,并将DataFrame中的数据保存为CSV文件。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [python 写hello world 之深入爬虫爬取水文信息(四)](https://blog.csdn.net/chen249191508/article/details/100562817)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [小小学习成果:Python爬虫爬取国务院最新政策](https://blog.csdn.net/INTEGRATOR_37/article/details/113386649)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一晌小贪欢

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>