简单的网络爬虫，用于从特定的网页上抓取新闻信息

段融坊

于 2024-07-04 16:14:40 发布

阅读量881

点赞数 4

文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_63622236/article/details/140179216

版权

# 1. 加载第三方库
import requests
from lxml import etree
import pandas as pd

# 2. 发起请求
url = "http://www.tipdm.com/gsxw/index.jhtml"
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 Edg/109.0.1518.78'}
html = requests.get(url,headers=headers)

text=html.text
# 3. 获取请求
dom=etree.HTML(text)
title=dom.xpath('//*[@id="t251"]/div/div[3]/h1/a/text()')
href=dom.xpath('//*[@id="t251"]/div/div[3]/h1/a/@href')
content=dom.xpath('//*[@id="t251"]/div/div[3]/div/text()')
data=dom.xpath('//*[@id="t251"]/div/div[1]/span[2]/text()')
day=dom.xpath('//*[@id="t251"]/div/div[1]/span[1]/text()')

data=pd.DataFrame({'新闻标题':title,
                   '新闻网址':href,
                   '新闻内容':content,
                   '年月':data,
                   '天':day
})
data.to_csv('data.csv',encoding='gbk',index=False)
data