python爬取百度标题_python3的requests库爬取百度搜索关键字python的标题信息

最新推荐文章于 2024-06-07 23:33:47 发布

weixin_39881575

最新推荐文章于 2024-06-07 23:33:47 发布

阅读量874

点赞数

文章标签： python爬取百度标题

该博客介绍了如何在Python3.7环境下使用requests库爬取百度搜索'python'的关键字结果，并利用BeautifulSoup解析HTML，提取h3标签中的标题信息，最后将这些标题保存到Excel表格中。

摘要由CSDN通过智能技术生成

#本代码作用：在python3.7环境中，在百度首页输入python,并打印出来当前页面的源代码，并将查询到的python标题存入Excel数据

#代码如下：

#本代码是在python3.7环境下，使用requests库爬取百度源代码

#1、导入相应的模块，requests库是第三方库，需要在cmd里pip install requests

import requests

from bs4 import BeautifulSoup

import re

import pandas as pd

#2、对网站进行get请求

url="https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python&rsv_pq=c975914300115949&rsv_t=e7f3%2FJ8sovjmaqT%2B6p6ID4KVYbFRyG9dPQjqKtszA7eNO7jE0ynUBwuzYek&rqlang=cn&rsv_enter=1&rsv_dl=tb&rsv_sug3=3&rsv_sug1=3&rsv_sug7=101&rsv_sug2=0&inputT=2503&rsv_sug4=4616&rsv_sug=2"

#上面这行代码是在百度首页查询python关键字，将此网站赋值给url

headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/