requests+beautifulsoup爬虫

最新推荐文章于 2020-06-28 17:17:40 发布

tao3741

最新推荐文章于 2020-06-28 17:17:40 发布

阅读量187

点赞数 1

文章标签： python爬虫

本文链接：https://blog.csdn.net/tao3741/article/details/101025195

版权

本文记录了使用Python的requests和beautifulsoup库进行爬虫的入门过程，主要目标是抓取航空公司的中英文名称、二字码、三字码和呼号等信息，通过查找并提取页面上所有p标签内的文本内容，将数据保存到txt文件。

摘要由CSDN通过智能技术生成

爬虫简单入门。由于工作需要，需要从网上爬取一些内容。在此记录一下开发过程遇到的问题

爬取航空公司信息。包括航空公司中英文名、二字码、三字码、呼号等信息。调研从

https://www.ufsoo.com/airline/page-12.html网站获取信息。信息格式为：

需要的内容包含<p>标签中。所以选择用beautifulsoup 的find_all获取所有p标签下的文本，并存储到txt文件。

完整代码：

#coding=utf-8

from bs4 import BeautifulSoup
#获得系统编码格式
import requests
head={
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',