爬取百度新闻标题和链接

使用python爬取新闻标题及链接，解析数据保存为excel文件。

import re
import requests
from lxml import etree
import pandas as pd

url = 'http://news.baidu.com/'
#请求头
headers = {
    "User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36'
}

response = requests.get(url, headers=headers)
data = response.content.decode('utf-8')

with open('newsbaidu.html', 'w',encoding='utf-8') as f:
    f.write(data)

先把爬取的数据保存为html网页格式，查看爬取的数据是否正常

通过爬取的网页信息可以看到只有前面的信息，后面的是动态信息，通过get请求无法爬取，这里我们只爬取静态信息。

接下来是解析数据，这里使用xpath解析数据。通过浏览器的右击检查选项定位到新闻标题处。



我们可以看到新闻标题链接都在a标签内,它们都有 一个target属性 ,将属性值作为筛选条件。

#解析数据
xpath_data = etree.HTML(data)
#跨节点取href标签内容
title_url = xpath_data.xpath('//a[@target="_blank"]/@href')
#取a标签内容
title = xpath_data.xpath('//a[@target="_blank"]/text()')
result = []
for index,title in enumerate(title):
    dict1  = {}
    dict1['title'] = title
    dict1['url'] = title_url[index]
    result.append(dict1)

print(result)

输出结果

写入文件

title_list = []
url_list = []

for i in range(len(result)):
    title_list.append(result[i]['title'])
    url_list.append(result[i]['url'])
 
dict1 = {
    '标题': title_list,
    '链接': url_list,
}
# 建立DataFrame对象
file = pd.DataFrame(dict1)
#写入文件
file.to_excel('./newsbaidu.xlsx', encoding='gbk',index=False)

最后爬取的数据