Python+Requests爬虫入门

已于 2023-06-25 08:36:53 修改
阅读量993 收藏 1
点赞数 3
文章标签： python 爬虫 开发语言
于 2023-06-13 19:41:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41587794/article/details/131194766
版权

1、爬虫导读

1.1 爬虫涉及技术

● 访问网页
● 获取响应
● 提取数据
● 数据保存

1.2 第三方依赖库

● Requests：用于发送Http请求
○ pip install requests ：安装requests模块
■ import requests：导入requests模块
● BeautifulSoup：用于Html解析
○ pip install bs4：安装BeautifulSoup模块
○ pip install beautifulsoup4
■ from bs4 import BeautifulSoup：导入BeautifulSoup模块
● Pandas：用于数据结构处理
○ pip install pandas

1.3 爬虫工作原理

● 初始URL
● 爬取网页
● 抓取元素
● 进行保存
● 重复爬取
在这里插入图片描述

2、第一个Http请求

爬取网站：http：//www.51testing.com/html/91/category-catid-91.html

2.1 HTTP概览

在这里插入图片描述
● Request URL：表示请求的URL
● Request Method：表示请求的方法，此处用的是GET请求方法
○ Get：向指定的资源发出显示请求，一般用于获取数据
○ Post：向指定的资源提交数据，请求服务器进行处理，例如：提交表单、上传文件。数据被包含在请求文本中。
○ Delete
○ Put
● Status Code：显示HTTP请求和状态码，表示HTTP请求的状态
○ 1xx 消息——请求已被服务器接收，继续处理
○ 2xx 成功——请求已成功被服务器接收、理解、并接受
○ 3xx 重定向——需要后续操作才能完成这一请求
○ 4xx 请求错误——请求含有词法错误或者无法被执行
○ 5xx 服务器错误——服务器在处理某个正确请求时发生错误

2.2 HTTP请求头

在这里插入图片描述
● Accept：表示请求的资源类型;
● Cookie：为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据;
● User-Agent：表示浏览器标识;
● Accept-Language：表示浏览器所支持的语言类型；
● Accept-Charset：告诉 Web 服务器，浏览器可以接受哪些字符编码；
● Accept：表示浏览器支持的 MIME 类型；
● Accept-Encoding：表示浏览器有能力解码的编码类型；
● Connection：表示客户端与服务连接类型；

2.3 用Python发送HTTP请求

import requests
from bs4 import BeautifulSoup


# 获取响应请求
response = requests.get(url="http://www.51testing.com/html/91/category-catid-91.html")
# content返回的是bytes型的原始数据
content = response.content
# 打印结果
print(content)

返回了一大串编码了的 HTML 源码，这些 HTML 源码未经解码和解析，如下图
在这里插入图片描述
内容拓展：

# 当前编码，默认为 ISO-8859-1
print(response.encoding)
# 当前网页的内容的实际编码
print(response.apparent_encoding) 
# content返回的是bytes型的原始数据
print(response.content)  
 # text返回的是处理过的Unicode型的数据
print(response.text)    
# statuscode返回的请求状态码
print(response.statuscode) 
# json返回的是json格式的数据
print(response.json)

3、爬取网页内容

3.1 爬取第一页标题

  • FireBug工具获取xpath定位方式
    在这里插入图片描述
  • 代码实现
import requests
from bs4 import BeautifulSoup

# 获取响应请求
response = requests.get(url="http://www.51testing.com/html/91/category-catid-91.html")
# content返回的是bytes型的原始数据
content = response.content
# 转换为html格式
soup = BeautifulSoup(content, "html.parser") 
# 通过xpath定位元素
item = soup.select("body > div.con > div.catnewslist > div:nth-child(1) > h3 > a")
print(item)

在这里插入图片描述

  • 进行标题文本获取
import requests
from bs4 import BeautifulSoup

# 获取响应请求
response = requests.get(url="http://www.51testing.com/html/91/category-catid-91.html")
# content返回的是bytes型的原始数据
content = response.content
# 转换为html格式
soup = BeautifulSoup(content, "html.parser")
# 通过xpath定位元素
titles = soup.select("body > div.con > div.catnewslist > div:nth-child(1) > h3 > a")
for title in titles:
    print(title.text)

在这里插入图片描述

  • 爬取第一页标题
    1、第一条标题：body > div.con > div.catnewslist > div:nth-child(1) > h3 > a
    2、第二条标题：body > div.con > div.catnewslist > div:nth-child(2) > h3 > a
    3、第三条标题：body > div.con > div.catnewslist > div:nth-child(3) > h3 > a
    问题：寻找其中的规律，如果通过循环来实现？
import requests
from bs4 import BeautifulSoup

# 获取响应请求
response = requests.get(url="http://www.51testing.com/html/91/category-catid-91.html")
# content返回的是bytes型的原始数据
content = response.content
# 转换为html格式
soup = BeautifulSoup(content, "html.parser")
# 通过xpath定位元素
# 获取标题
for i in range(1, 21):
    titles = soup.select('body > div.con > div.catnewslist > div:nth-child( ' + str(i) + ') > h3 > a')
    for title in titles:
        print(title.get_text())

3.2 爬取第一页正文

在这里插入图片描述

import requests
from bs4 import BeautifulSoup

# 获取响应请求
response = requests.get(url="http://www.51testing.com/html/91/category-catid-91.html")
# content返回的是bytes型的原始数据
content = response.content
# 转换为html格式
soup = BeautifulSoup(content, "html.parser")
# 通过xpath定位元素
main_pages = soup.select(".column_js p")
for page in main_pages:
    print(page.get_text())

3.3 将标题和正文存储到列表中

import requests
from bs4 import BeautifulSoup

# 定义列表，用于存储标题
titles_list = []
# 定义列表，用于存储正文
pages_list = []
# 获取响应请求
response = requests.get(url="http://www.51testing.com/html/91/category-catid-91.html")
# content返回的是bytes型的原始数据
content = response.content
# 转换为html格式
soup = BeautifulSoup(content, "html.parser")
# 通过xpath定位元素
# 获取标题
for i in range(1, 21):
    titles = soup.select('body > div.con > div.catnewslist > div:nth-child( ' + str(i) + ') > h3 > a')
    for title in titles:
        titles_list.append(title.get_text())
# 获取正文
main_pages = soup.select(".column_js p")
for page in main_pages:
    pages_list.append(page.get_text())

问题：
1、打印pages_list，查看结果，存在格式字符串，如何进行字符串处理？

4、爬取多个页面

第一页：http://www.51testing.com/html/91/category-catid-91.html
第二页：http://www.51testing.com/html/91/category-catid-91-page-2.html
第三页：http://www.51testing.com/html/91/category-catid-91-page-3.html
问题：寻找其中的规律，如果通过循环来实现？

4.1 代码实现

import requests
from bs4 import BeautifulSoup

# 定义列表，用于存储标题
titles_list = []
# 定义列表，用于存储正文
pages_list = []
# 定义url

for i in range(1, 5):
    if i == 1:
        url = "http://www.51testing.com/html/91/category-catid-91.html"
    else:
        url = "http://www.51testing.com/html/91/category-catid-91-page-" + str(i) + ".html"
    # 获取响应请求
    response = requests.get(url=url)
    # content返回的是bytes型的原始数据
    content = response.content
    # 转换为html格式
    soup = BeautifulSoup(content, "html.parser")
    # 通过xpath定位元素
    # 获取标题
    for i in range(1, 21):
        titles = soup.select('body > div.con > div.catnewslist > div:nth-child( ' + str(i) + ') > h3 > a')
        for title in titles:
            titles_list.append(title.get_text())
    # 获取正文
    main_pages = soup.select(".column_js p")
    for page in main_pages:
        pages_list.append(page.get_text())

5、写入文件

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 定义列表，用于存储标题
titles_list = []
# 定义列表，用于存储正文
pages_list = []
# 定义url

for i in range(1, 5):
    if i == 1:
        url = "http://www.51testing.com/html/91/category-catid-91.html"
    else:
        url = "http://www.51testing.com/html/91/category-catid-91-page-" + str(i) + ".html"
    # 获取响应请求
    response = requests.get(url=url)
    # content返回的是bytes型的原始数据
    content = response.content
    # 转换为html格式
    soup = BeautifulSoup(content, "html.parser")
    # 通过xpath定位元素
    # 获取标题
    for i in range(1, 21):
        titles = soup.select('body > div.con > div.catnewslist > div:nth-child( ' + str(i) + ') > h3 > a')
        for title in titles:
            titles_list.append(title.get_text())
    # 获取正文
    main_pages = soup.select(".column_js p")
    for page in main_pages:
        pages_list.append(page.get_text())

# 创建DataFrame数据
df = pd.DataFrame({"title": titles_list, "content": pages_list})
# 创建ExcelWrite对象
writer = pd.ExcelWriter('website.xlsx')
df.to_excel(writer)
writer.save()
晓辰不想努力
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python + requests实现接口自动化框架！_python requests 接口自动化
m0_60608008的博客
05-05 865
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
Python 爬虫入门Requests库
ccccrj博客
02-27 131
Requests库安装 终端安装 pip install requests #python2 pip3 install requests #python3 anaconda自带requests库 Requests 方法 response = requests.get(url) requests.get(url,params=None,**kwargs) url：页面链接 param...
python—requests模块详解
热门推荐
W0ngk，一个安全菜鸡，一直在模仿，尚未有超越。
02-10 1万+
requests模块详解
python导入requests库_浅谈python中requests模块导入的问题
weixin_39605347的博客
11-24 1315
今天使用Pycharm来抓取网页图片时候，要导入requests模块，但是在pycharm中import requests 时候报错。原因： python中还没有安装requests库解决办法：1.先找到自己python安装目录下的pip2.在自己的电脑里打开cmd窗口。先点击开始栏，在搜索栏输入cmd，按Enter，打打开cmd窗口。在cmd里将目录切换到你的pip所在路径。比如我的在C:\Py...
全网最全！Python爬虫requests库教程(附案例)
2201_75362610的博客
05-20 4425
Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库， requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。
【python爬虫学习篇】请求模块requests
Linxueli的博客
05-30 2383
1，请求模块requests 由于requests模块是第三方模块，所以在使用requests模块时需要通过执行pip install requests进行模块的安装。如果使用Anaconda，则不需要单独安装requests模块。 1.1请求方式 1.1.1，GET请求 在使用requests模块实现GET请求时可以使用俩种方式实现，一种带参数，另一种为不带参数，下面为不带参数实现GET请求以及对响应结果进行utf—8编码。 代码示例： import requests #发送网络请求 res
requests 入门
Wjy1980101的博客
08-21 1646
有想学习的冲动，但网上的教程残缺不全，现在，简明版的来了。正所谓，磨刀不误砍柴工，先来安装一下requests库。现在网络上渐渐流行起来的爬虫，web。
python爬虫入门之requests
萤火之光
01-23 411
python爬虫（1）：requests requests入门 request是一种将http协议封装的非常好的包，非常适合各种网络编程 requests中文文档 http协议 所谓HTTP协议，中文名是超文本传输协议。这是一种可靠的可以把各种各样格式的文件在互联网上传输的协议。事实上HTTP协议总共有七步，这次我们先讲一下主要的过程。HTTP协议的传输主要通过HTTP报文实现的...
Python + 爬虫 + 入门
08-08
Python是一门非常流行的编程语言，它具有简单易学、可读性强...在Python中，有很多优秀的库可以帮助我们实现各种功能，如requests库可以用于HTTP请求，BeautifulSoup库可以用于HTML解析，scrapy库可以用于爬虫开发等。
如何用Python + Requests + BeautifulSoup构建最强大的爬虫
03-30
如何用Python + Requests + BeautifulSoup构建最强大的爬虫 Scrapy框架入门指南：打造高效、可扩展的爬虫系统
python爬虫requests库入门基础
06-06
python爬虫requests库入门基础
爬虫系列课+Python技术+爬虫与反爬+基础入门课
最新发布
04-04
1. **Python爬虫入门基础** - 1.1 爬虫概念及其工作原理 - 1.2 Python环境搭建与爬虫库介绍 - 1.3 爬虫的合法性与道德规范 2. **网络请求与HTML基础** - 2.1 HTTP协议基础 - 2.2 使用requests库发起网络请求 -...
爬虫技术系列课+Python+爬虫基础知识爬虫实例反爬机制+自学课程
04-04
Python爬虫入门基础 1.1 爬虫概念及其工作原理 1.2 Python环境搭建与爬虫库介绍 1.3 爬虫的合法性与道德规范 网络请求与HTML基础 2.1 HTTP协议基础 2.2 使用requests库发起网络请求 2.3 HTML结构解析与XPath/CSS选择...
python教程：requests库使用方法详解
Python热爱者的博客
02-04 4059
python教程：requests库使用方法详解
Python requests模块
晴天的博客
02-16 2462
Python requests模块
python爬虫学习9：使用bs4
weixin_43788986的博客
07-04 949
bs4库中最主要的便是bs类了，每个实例化的对象都相当于一个html页面。 需要采用from-import导入bs类，同时通过BeautifulSoup（）创建一个bs对象。我们可以写一个示例，先看代码： 第一步找到需要数据位置： 看到都在tbody中，调用代码爬取tbody， 然后在这一部分找具体数据： 输出效果如下：...
第10次博文：一招方法教你解决import requests 导入报错（出错）问题，秒解决！
weixin_49492286的博客
07-17 1万+
1：主要情况说明在于自己在IDLE中，导入import requests报错，出现 name "requests" 没有建立情况； 解决方法：自己安装一个pychrm。pychrm是学习python中，必有的软件； 步骤； 1：打开Pychrm，进入主界面————找到设置————项目————选择 python解释器————选择你自己下载python时候的python解释器（如下图1）————选择完后python解释器，点击 ‘ + ’中，在可用包中，输入requests—————点击安装...
【Python】Requests快速入门
Mike0010的博客
06-27 1078
本文将指导您掌握requests库以快速起步，咱们现在就开始吧！
两万字博文教你python爬虫requests库详解篇.pdf
05-23
"这篇两万字的博文详细介绍了Python爬虫中的requests库，旨在帮助读者深入理解和掌握这个广泛使用的库。作者强调，虽然requests库非常方便，但学习爬虫之前应确保具备扎实的Python基础知识。此外，他还推荐了一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值