用FastAPI加爬虫制作一个涩图API,521就这样自己过。

3 篇文章 0 订阅

最近家里有台旧笔记本,我闲的没事干将电脑制作成了一个服务器。虽然没有公网IP但是我们有强大的内网穿透!加上FastAPI这个pythob的web框架制作一个中小型没有问题!

这不今天是520嘛,还能干吗?自己过咯。闲得没事干就有不一样的灵感!


FastAPI制作后端

我们用FastAPI进行后端的处理,不得不说,FastAPI真的快!不仅仅是快,而且代码量很少哦!对我这种懒到极致的男人,肯定是选它!

 main.py文件

from fastapi import FastAPI
from starlette.requests import Request
from starlette.templating import Jinja2Templates
import GetRankImage

app = FastAPI()
templates = Jinja2Templates(directory="templates")

@app.get("/")
async def main(request:Request):
    return templates.TemplateResponse(
        'index.html',
        {
            'request':request,
            'RandomImage':f"{GetRankImage.main()}"
        }
    )

if __name__ == '__main__':
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

看吧!这难道很多吗? 才21行!如此简单,还不快学起来!有了框架我们需要将静态文件.html文件写出来,在当前目录新建一个 templates 名字的文件夹

再到里面新建index.html文件,代码如下:
 

<!DOCTYPE html>
<html>
	<head>
		<meta charset="utf-8" />
		<title>setu</title>
	</head>
	<body>
		<p style="text-align: center;">
			<img src="{{ RandomImage }}" width="800">
		</p>
	</body>
</html>

后端爬虫代码编写

我们所有框架都有了,但是没有后端爬虫怎么弄得到我们需要的涩图呢。于是在main.py文件目录新建文件GetRankImage.py,代码如下:

import requests
import random
from bs4 import BeautifulSoup as bs
import time

def main():
    init_time = time.strftime("%Y-%m-%d", time.localtime()).split('-')[0:]
    init_month = random.randint(1, int(init_time[1]) - 1)
    init_day = random.randint(1, int(init_time[-1]) - 1)
    if init_month < 10:
        month = f"0{init_month}"
    else:
        month = init_month
    if init_day < 10:
        day = f"0{init_day}"
    else:
        day = init_day
    date = f"{init_time[0]}-{month}-{day}"
    req = requests.post(
        "https://rt.huashi6.com/front/works/rank_page",
        data={"index": random.randint(1, 4),"size": 10,"date": date}
    )
    try:
        RandomImage = req.json()['data']['works']['datas'][random.randint(0, 9)]['coverImage']['path']
        print(f"爬取到图片:https://img2.huashi6.com/{RandomImage}  时间为:{date}")
        return "https://img2.huashi6.com/" + RandomImage
    except:
        print(f"ERROR:--爬取时间:{date}")
        return "https://www.kuko.icu/API/qlht/"

我们爬取的是网站:P站热门排行-P站图片排行榜-触站 (huashi6.com) 中的图片资源,里面包含了很多高手画的画,大家也可以将自己的爬虫更换就可以了。

将此处换成你爬虫return出的图片链接即可。


HTML代码 

在当前目录新建templates文件夹用于存放html文件

index.html

<!DOCTYPE html>
<html>
	<head>
		<meta charset="utf-8" />
		<title>setu</title>
	</head>
	<body>
		<p style="text-align: center;">
			<img src="{{ RandomImage }}" width="800">
		</p>
	</body>
</html>

部署服务器-内网穿透

所有代码弄好后我们就可以进行部署服务器了,大家如果有云服务器和公网ip的话就不需要进行内网穿透,如果没有公网Ip就需要内网穿透来让外网访问到网页。

我使用我家中的老电脑来搭建了一个服务器,使用NATAPP-内网穿透 基于ngrok的国内高速内网映射工具来进行内网穿透,非常简单而且还免费。

 

 

 

 

 

 

记住要填写服务器的内网ip 

根据服务器的系统下载 

将客户端上传到服务器上用命令启动./natapp  -authtoken=你的token 

记得复制token上去

 上传我们的项目文件,然后用命令运行 python3 main.py 即可

效果:setu (natapp1.cc)


有bug或问题-QQ群: 706128290

  • 6
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
1.项目代码功能经验证ok,确保稳定可靠运行。欢迎下载使用!在使用过程中,如有问题或建议,请及时私信沟通。 2.主要针对各个计算机相关专业,包括计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师或企业员工使用。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈! 【资源说明】 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip 基于fastapi爬虫可视化调度系统完整源码(含前端+后端+部署文档).zip
### 回答1: 好的,这是一个使用 Python 爬虫通过 API 抓取数据的示例: ``` import requests url = "https://api.example.com/data" response = requests.get(url) if response.status_code == 200: data = response.json() print(data) else: print("请求失败,状态码:", response.status_code) ``` 这段代码使用了 `requests` 库发送一个 GET 请求到 API 地址 `https://api.example.com/data`。如果请求成功(即返回状态码为 200),将返回的数据(格式为 JSON)解析并打印。如果请求失败,则打印错误信息。 ### 回答2: 编写一个通过API抓取数据的Python爬虫,主要分为以下几个步骤: 第一步,导入所需的库。首先导入`requests`库用于发送HTTP请求,以获取API的数据。然后导入`json`库用于处理返回的JSON数据。 第二步,定义API的URL和参数。根据需要访问的API,设置相应的URL以及可能需要的参数。例如,如果要从一个天气API中获取某城市的天气数据,可以设置URL为相应的API链接,参数可以是城市的名称、日期等。 第三步,发送HTTP请求并获取数据。使用`requests`库发送GET请求,将API的URL和参数作为参数传递给`requests.get()`函数。然后,使用`response.json()`来获取返回的数据,并将其存储在一个变量中。 第四步,解析数据。根据API返回的数据结构,使用`json`库来解析返回的JSON数据。通常可以使用字典和列表的方式来访问和提取所需的数据。 第五步,处理和存储数据。根据需要,可以对数据进行进一步处理,例如将其转换为CSV文件、存储到数据库或进行可视化处理。 第六步,异常处理。在进行API请求和数据处理的过程中,可能会出现各种错误,例如网络连接错误、API返回错误等。需要使用`try-except`语句来捕获这些异常,并添适当的处理程序。 第七步,运行爬虫。最后,编写一个主函数,调用前面定义的函数,并运行爬虫代码。可以使用循环来定期执行爬虫,以获取最新的数据。 总结:以上是一个简单的通过API抓取数据的Python爬虫的大致步骤。实际使用时,需要根据具体的API接口和数据处理需求进行相应的调整和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Pymili

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值