2024.4.14 Python爬虫复习Day02

已于 2024-04-14 01:25:45 修改
阅读量246 收藏 2
点赞数 4
文章标签： 爬虫 github python 开发语言 https
于 2024-04-13 23:54:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49956154/article/details/137728979
版权

day02_web服务器优化

注意: 需要提前把资料中source目录复制到当前项目中

1.回顾基本web服务器

# 1.导包(fastapi和uvicorn)
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象(注意:创建对象的时候,类名后加小括号())
api = FastAPI()


# 3.让对象帮助咱们干活(接收浏览器请求并且给浏览器响应)
# 装饰器根据要访问的资源路径调用对应的函数
@api.get('/')
def show():
    return Response('load index.html...')


@api.get('/hm.jpg')
def show():
    return Response('load hm.jpg...')


# 4.启动服务器(必须传入上述创建的对象,注意:ip地址和端口号有默认,当然也可以自己指定)
uvicorn.run(api, host='127.0.0.1', port=9091)

2.web服务器_返回多资源

# 1.导包(fastapi和uvicorn)
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象(注意:创建对象的时候,类名后加小括号())
api = FastAPI()


# 3.让对象帮助咱们干活(接收浏览器请求并且给浏览器响应)
# 装饰器根据要访问的资源路径调用对应的函数
@api.get('/')
    #这一行使用FastAPI装饰器语法定义了一个路由。@api.get()指定了HTTP方法为GET，
# 并且当客户端访问根路径/时，将会触发接下来定义的show()函数。
# 这意味着，当用户在浏览器中访问http://your-server-url/时，会执行这个函数来处理请求。
def show():
    f = open('index.html', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@api.get('/index.html')
# 这一行使用FastAPI装饰器语法定义了一个路由。@api.get()指定了HTTP方法为GET，
# 并且当客户端访问路径/index.html时，
# 将会触发接下来定义的show()函数。这意味着，
# 当用户在浏览器中访问http://your-server-url/index.html时，会执行这个函数来处理请求。
def show():
    # 定义了一个名为show的函数，它将作为/index.html路由对应的处理器
    f = open('index.html', 'rb')
    # 在函数内部，使用Python内置的open()函数以二进制读取模式（'rb'）
    # 打开本地文件系统中的index.html文件，并将打开的文件句柄赋值给变量f。
    data = f.read()
    # 调用文件句柄f的read()方法，读取整个文件的内容并将其存储在变量data中。
    # 这里假设index.html是一个较小的文件，可以一次性读入内存。对于大文件，可能需要采用流式读取或其他策略。
    f.close()
    return Response(data)
    # 最后，函数返回一个Response对象。这个对象是由fastapi.Response类实例化而成的，
    # 其构造参数data被设置为之前读取到的HTML文件内容。
    # Response对象封装了HTTP响应的详细信息，包括响应体、状态码、头部等。在这里，
    # 我们只指定了响应体（即HTML文件内容），
    # 其余部分将使用FastAPI和HTTP协议的默认设置。
    # 返回这个Response对象后，FastAPI框架会将其转换为一个完整的HTTP响应，
    # 并通过运行中的Web服务器（如Uvicorn）发送回客户端。



@api.get('/hm.jpg')
def show():
    f = open('hm.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


# 4.启动服务器(必须传入上述创建的对象,注意:ip地址和端口号有默认,当然也可以自己指定)
uvicorn.run(api, host='127.0.0.1', port=9092)

3.web服务器_局域网ip

127.0.0.1: 回环地址,本身指代本地主机

ipconfig: 查看本机ip地址(局域网或者外网的ip都能查看)

注意: 在web服务器中如果服务器指定的是本地局域网分配的ip地址,那么此局域网内所有的主机都能互相访问

# 1.导包(fastapi和uvicorn)
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象(注意:创建对象的时候,类名后加小括号())
api = FastAPI()


# 3.让对象帮助咱们干活(接收浏览器请求并且给浏览器响应)
# 装饰器根据要访问的资源路径调用对应的函数
@api.get('/')
def show():
    f = open('index.html', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@api.get('/index.html')
def show():
    f = open('index.html', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@api.get('/hm.jpg')
def show():
    f = open('hm.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


# 4.启动服务器(必须传入上述创建的对象,注意:ip地址和端口号有默认,当然也可以自己指定)
# 注意: web服务器指定本地的实际局域网地址
uvicorn.run(api, host='192.168.86.41', port=9093)

4.web服务器_实战

# 实战需求: 已知source资源,要求搭建一个web服务器,启动并可以让客户端远程访问资源
# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象
zs = FastAPI()


# 3.对象帮助咱们接收浏览器请求,并且给浏览器响应
# 浏览器输入url: 协议/域名:端口号/资源路径
# 注意: get后面就是url里的资源路径
@zs.get('/')
def show():
    f = open('source/html/index.html', mode='r', encoding='utf8')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/index.html')
def show():
    f = open('source/html/index.html', mode='rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/gdp.html')
def show():
    f = open('source/html/gdp.html', mode='rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/images/0.jpg')
def show():
    f = open('source/images/0.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/images/1.jpg')
def show():
    f = open('source/images/1.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/images/2.jpg')
def show():
    f = open('source/images/2.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/images/3.jpg')
def show():
    f = open('source/images/3.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/images/4.jpg')
def show():
    f = open('source/images/4.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/images/5.jpg')
def show():
    f = open('source/images/5.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/images/6.jpg')
def show():
    f = open('source/images/6.jpg', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/jzc.avi')
def show():
    f = open('source/video/jzc.avi', 'rb')
    data = f.read()
    f.close()
    return Response(data)


# 4.启动服务器
uvicorn.run(zs, host='192.168.86.41', port=9094)

5.web服务器_处理所有图片

# 实战需求: 现有的服务器代码,重复代码多,不利于以后扩展,需要升级优化
# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象
zs = FastAPI()


# 3.对象帮助咱们接收浏览器请求,并且给浏览器响应
# 浏览器输入url: 协议/域名:端口号/资源路径
# 注意: get后面就是url里的资源路径
@zs.get('/')
def show():
    f = open('source/html/index.html', mode='r', encoding='utf8')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/index.html')
def show():
    f = open('source/html/index.html', mode='rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/gdp.html')
def show():
    f = open('source/html/gdp.html', mode='rb')
    data = f.read()
    f.close()
    return Response(data)

@zs.get('/render.html')
def show():
    f = open('source/html/render.html', mode='rb')
    data = f.read()
    f.close()
    return Response(data)


# 自动接收用户在浏览器输入的url,然后自动截取图片名赋值给img_name
@zs.get('/images/{img_name}')
def show(img_name):
    f = open(f'source/images/{img_name}', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/jzc.avi')
def show():
    f = open('source/video/jzc.avi', 'rb')
    data = f.read()
    f.close()
    return Response(data)


# 4.启动服务器
uvicorn.run(zs, host='192.168.86.41', port=9095)

6.web服务器_处理其他资源

# 实战需求: 现有的服务器代码,重复代码多,不利于以后扩展,需要升级优化
# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象
zs = FastAPI()


# 3.对象帮助咱们接收浏览器请求,并且给浏览器响应
# 浏览器输入url: 协议/域名:端口号/资源路径
# 注意: get后面就是url里的资源路径
# 接收的url请求: http://192.168.86.41:9096/
@zs.get('/')
def show():
    f = open('source/html/index.html', mode='r', encoding='utf8')
    data = f.read()
    f.close()
    return Response(data)


# 自动接收用户在浏览器输入的url,然后自动截取文件名赋值给html_name
# 接收的url请求: http://192.168.86.41:9096/页面或者其他资源
@zs.get('/{html_name}')
def show(html_name):
    f = open(f'source/html/{html_name}', 'rb')
    data = f.read()
    f.close()
    return Response(data)


# 自动接收用户在浏览器输入的url,然后自动截取图片名赋值给img_name
# 接收的url请求: http://192.168.86.41:9096/images/图片
@zs.get('/images/{img_name}')
def show(img_name):
    f = open(f'source/images/{img_name}', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/video/{vi_name}')
def show(vi_name):
    f = open(f'source/video/{vi_name}', 'rb')
    data = f.read()
    f.close()
    return Response(data)


# 4.启动服务器
uvicorn.run(zs, host='192.168.86.41', port=9096)

7.web服务器_withopen

1.with open格式
    with open(文件路径,文件模式,文件编码) as f:
        读写操作
        
2.with open特点: 可以自动关闭文件对象	

# 实战需求: 现有的服务器代码,重复代码多,不利于以后扩展,需要升级优化
# 1.导包
from fastapi import FastAPI
from fastapi import Response
import uvicorn

# 2.创建对象
zs = FastAPI()


# 3.对象帮助咱们接收浏览器请求,并且给浏览器响应
# 浏览器输入url: 协议/域名:端口号/资源路径
# 注意: get后面就是url里的资源路径
# 接收的url请求: http://192.168.86.41:9096/
#
@zs.get('/')
def show():
    # with open任何情况下,文件都会自动关闭
    with open('source/html/index.html', mode='r', encoding='utf8') as f:
        data = f.read()

    return Response(data)


# 自动接收用户在浏览器输入的url,然后自动截取文件名赋值给html_name
# 接收的url请求: http://192.168.86.41:9096/页面或者其他资源
@zs.get('/{html_name}')
def show(html_name):
    with open(f'source/html/{html_name}', 'rb') as f:
        data = f.read()
    return Response(data)


# 自动接收用户在浏览器输入的url,然后自动截取图片名赋值给img_name
# 接收的url请求: http://192.168.86.41:9096/images/图片
@zs.get('/images/{img_name}')
def show(img_name):
    f = open(f'source/images/{img_name}', 'rb')
    data = f.read()
    f.close()
    return Response(data)


@zs.get('/video/{vi_name}')
def show(vi_name):
    f = open(f'source/video/{vi_name}', 'rb')
    data = f.read()
    f.close()
    return Response(data)


# 4.启动服务器
uvicorn.run(zs, host='192.168.86.41', port=9096)
白白的wj
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Python爬虫学习-Day4
Frank.F.Wu
03-04 241
1、XML介绍 XML指可扩展标记语言（EXtensible Markup Language） XML是一种标记语言，很类似HTML XML的设计宗旨是传输数据和存储数据，而非显示数据，其焦点是数据的内容（与HTML的区别） XML的标签需要我们自行定义 XML被设计为具有自我描述性 XML是W3C的推荐标准 每个元素以及属性都有一个父（Parent） 元素节点可有零个、一个或多个子（Child...
暑假学习 Python爬虫基础（4）
urbeen的博客
08-17 334
学习的一些基础也完成的差不多了，下面就尽量自己来完成一下对百度文库文章的爬取，尽量自己自主完成 还有就是手机软件爬虫的实现 百度文库文章的爬取 手机端的反爬手段少一点，可以修改头部，让其实现手机端网页的访问 from selenium import webdriver options = webdriver.ChromeOptions() options.add_argument('u...
2024.4.13 Python 爬虫复习day01
白白的wj的博客
04-13 1109
用户名: --------欢迎来到我的页面--------密 码:
2024.4.16 Python爬虫复习day04
白白的wj的博客
04-14 311
​ 枚举函数自动生成从0开始的编号: enumerate()​ 枚举函数自动生成从0开始的编号: enumerate()​ 字符串切割方法: split()​ 字符串切割方法: split()​ 文件操作相关知识点。​ 文件操作相关知识点。​ 文件操作相关知识点。​ 文件操作相关知识点。​ 列表的定义和遍历。​ 列表的定义和遍历。​ if判断。​ if判断。
Python爬虫数据可视化分析大作业.zip
05-29
Python爬虫数据可视化分析大作业是一个综合性的Python实战项目，旨在教授如何利用Python进行网络爬虫，对抓取的数据进行处理、分析，并通过可视化手段展示结果。该项目涵盖了多个关键的知识点，包括Python基础、网络...
python爬虫新浪微博的爬虫源码.zip
05-31
python爬虫新浪微博的爬虫源码.zippython爬虫新浪微博的爬虫源码.zippython爬虫新浪微博的爬虫源码.zippython爬虫新浪微博的爬虫源码.zippython爬虫新浪微博的爬虫源码.zippython爬虫新浪微博的爬虫源码.zippython...
python爬虫python-strings.rar
06-22
Python字符串在爬虫编程中的应用 在Python编程中，字符串是一种基本的数据类型，它用于存储文本信息。在Python爬虫领域，字符串处理是至关重要的，因为网页内容本质上就是由字符组成的字符串。本教程将深入探讨...
python爬虫一.zippython爬虫一.zip
02-02
python爬虫一.zippython爬虫一.zippython爬虫一.zippython爬虫一.zippython爬虫一.zippython爬虫一.zippython爬虫一.zippython爬虫一.zippython爬虫一.zippython爬虫一.zip
Python爬虫教程.docx.docx
06-03
### Python爬虫教程知识点详解 #### 一、简介 Python爬虫是一种自动化工具，通过编程方式从互联网上抓取公开信息。随着大数据时代的到来，爬虫技术变得尤为重要，它可以帮助我们高效地收集所需数据，为数据分析、...
Python爬虫案例二：获取虎牙主播图片(动态网站)
m0_74614835的博客
08-19 1272
params不能写在__init__()里面，因为__init__()只执行一次，params是变化的。'iPageNo': '{}'.format(i), # i是字符串。print('ok 第{}张--{}'.format(self.no, name))1.异步数据（即先返回HTML，再返回目标的数据，只是触发了JSON请求），不在HTML中。os.mkdir('../虎牙')测试链接：https://live.huya.com/# 构造7页的params。2.不能刷新网页，直接翻页。
Python爬虫案例一：获取古诗文并按用户输入的作者名进行数据保存
m0_74614835的博客
08-19 1026
1、什么是爬虫？也称为网页蜘蛛（Web Spider），通俗来说，解放人的双手, 去互联网获取数据, 以数据库, txt, excel, csv, pdf, 压缩文件, image, video, music保存数据。本质: 模拟浏览器, 向服务器发送网络请求, 接受服务器返回的数据,并保存数据。2、爬虫的分类？A、通用爬虫(根据目标获取选项): 百度, google, 搜狗 bing ... 搜索引擎B、聚焦爬虫: 根据指定的目标，指定的内容，获取数据, 保存数据3、网址的构成（了解）
搭建自己的金融数据源和量化分析平台（七）：定时更新上市公司所属行业门类及大类
最新发布
克格莫（有需要的私信）
08-23 199
由于此前从深交所下载的股票信息中只有行业门类信息，没有行业大类信息，导致后续解析三大报表和量化选股的时候无法进行：可以看到深交所的股票是没有大类信息的。再看看上交所的保险股：因此需要将深交所股票的所属大类信息也添加上。这里可以直接使用中国上市公司协会每隔一段时间发布的《上市公司行业分类结果》。目前最新版本是《2023年下半年上市公司行业分类结果》具体的解析逻辑不再赘述，分析一下HTML的格式就能把最新的pdf拿到手来解析。import os。
打卡学习Python爬虫第五天|Xpath解析的使用
weixin_52687711的博客
08-22 791
Xpath是在XML文档中搜索内容的一门语言，HTML可以看作是xml的一个子集。
如何使用Web Scraper爬虫抓取数据？
分享Python、数据分析、人工智能前沿知识
08-20 472
Web Scraper是一个基于Chrome/火狐浏览器的插件，能够在网页上自动爬取数据，提供了丰富的配置，支持自动翻页、登录认证、JavaScript渲染等等，可以解决多数爬虫难题。安装好Web Scraper后，需要在开发者工具中使用它，按F12键打开开发者模式能找到Web Scraper功能区，在这里可以新建并配置爬虫，你也不需要写任何代码就能抓取数据。Web Scraper的安装也很简单，在Chrome应用商店里搜索“Web Scraper”，找到该插件并点击“添加至Chrome”按钮。
利用网络爬虫获取数据的刑事责任分析
Climbman的博客
08-21 879
（2017）京0108刑初2384号上海晟品网络科技有限公司、侯明强等非法获取计算机信息系统数据罪一案[1]中，行为人在没有获得授权的情况下，通过破解App的加密算法或API交互规则，使用伪造的设备ID绕过服务器的身份校验，使用伪造的UA、IP绕过服务器的访问频率设置等规避或突破系统技术保护措施的手段，突破权限许可获取数据，因而构成非法获取计算机信息系统数据罪。此外，还需强调的是，获取数据的结果同样影响罪与非罪，利用网络爬虫频繁访问目标数据服务器，导致服务器不能正常运行的，或还会涉及破坏计算机信息系统罪。
PyCharm单步调试
hinewcc的博客
08-19 371
记录PyCharm单步调试方法
计算机毕业设计选题推荐-股票数据可视化分析与预测-Python爬虫
IT毕设梦工厂的博客
08-20 881
股票市场作为全球经济的晴雨表，其数据分析和预测对于投资者决策至关重要。根据相关数据，中国股民人数已超过1.7亿，显示出股票市场对广大投资者的吸引力。然而，面对海量的股票数据，如何有效进行分析和预测，成为投资者和金融分析师面临的一大挑战。传统的分析方法在处理大数据集时存在局限性，而人工智能和机器学习技术的发展为股票数据分析提供了新的解决方案。本课题旨在探索如何利用大数据和人工智能技术，提高股票数据的分析效率和预测准确性。本课题的研究目的在于开发一个基于大数据和人工智能技术的股票数据可视化分析与预测系统。
计算机相关法律法规及违规案例
Climbman的博客
08-21 805
根据《中华人民共和国刑法》第二百八十六条规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。违反国家规定，对计算机信息系统中存储、处理或者传输的数据和应用程序进行删除、修改、增加的操作，后果严重的，依照前款的规定处罚。故意制作、传播计算机病毒等破坏性程序，影响计算机系统正常运行，后果严重的，依照第一款的规定处罚。单位犯前三款罪的，对单位判处罚金，
Python爬虫基础：抓取网页标题与链接
此外，还推荐了Python爬虫的学习资源，包括书籍、网络教程和实践项目，以帮助初学者深入理解和提升爬虫技能。在进行爬虫活动时，应遵守法律法规，尊重网站政策，并注意控制请求频率，避免对目标网站造成负担。" 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白白的wj

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值