# 成果爬取国家政务服务平台,关键词“突发事件”,获取连接列表
# -*- encoding:utf-8 -*-
import urllib.request
from bs4 import BeautifulSoup # 导入urllib库的request模块
import lxml #文档解析器
import os #os模块就是对操作系统进行操作
import numpy as np #列表、字典、字符串等中计算元素重复的次数
urls=[]
titles=[]
#爬取所有新闻的url和标题,存储在urls和titles中,这里range(1)表示只爬取1页。
# for i in range(1):
url='http://sousuo.gov.cn/s.htm?t=paper&advance=false&n=&codeYear=&codeCode=&sort=&q=%E7%AA%81%E5%8F%91%E4%BA%8B%E4%BB%B6'
res = urllib.request.urlopen(url) #调用urlopen()从服务器获取网页响应(respone),其返回的响应是一个实例
html = res.read().decode('utf-8') #调用返回响应示例中的read(),可以读取html
soup = BeautifulSoup(html, 'lxml')
result = soup.find_all('div',class_ = 'result')#和上面的不同,这里要闻在'div,class = list list_1 list_2'中,所以要修改一下。
#print(result)
download_soup = BeautifulSoup(
Python爬取国家政务服务平台关键词搜索的文件并分类存到CSV中
最新推荐文章于 2023-09-26 17:42:47 发布