在生产环境中使用 Keras、Redis、Flask 和 Apache 进行深度学习

TOP级别安卓开发

于 2024-05-01 14:26:03 发布

阅读量1

点赞数 25

分类专栏：程序员文章标签：深度学习 keras redis

本文链接：https://blog.csdn.net/m0_61042126/article/details/138372349

版权

程序员专栏收录该内容

155 篇文章 0 订阅

订阅专栏

model = ResNet50(weights=“imagenet”)

print(“* Model loaded”)

continually pool for new images to classify

while True:

attempt to grab a batch of images from the database, then

initialize the image IDs and batch of images themselves

queue = db.lrange(settings.IMAGE_QUEUE, 0,

settings.BATCH_SIZE - 1)

imageIDs = []

batch = None

loop over the queue

for q in queue:

deserialize the object and obtain the input image

q = json.loads(q.decode(“utf-8”))

image = helpers.base64_decode_image(q[“image”],

settings.IMAGE_DTYPE,

(1, settings.IMAGE_HEIGHT, settings.IMAGE_WIDTH,

settings.IMAGE_CHANS))

check to see if the batch list is None

if batch is None:

batch = image

otherwise, stack the data

else:

batch = np.vstack([batch, image])

update the list of image IDs

imageIDs.append(q[“id”])

check to see if we need to process the batch

if len(imageIDs) > 0:

classify the batch

print(“* Batch size: {}”.format(batch.shape))

preds = model.predict(batch)

results = decode_predictions(preds)

loop over the image IDs and their corresponding set of

results from our model

for (imageID, resultSet) in zip(imageIDs, results):

initialize the list of output predictions

output = []

loop over the results and add them to the list of

output predictions

for (imagenetID, label, prob) in resultSet:

r = {“label”: label, “probability”: float(prob)}

output.append®

store the output predictions in the database, using

the image ID as the key so we can fetch the results

db.set(imageID, json.dumps(output))

remove the set of images from our queue

db.ltrim(settings.IMAGE_QUEUE, len(imageIDs), -1)

sleep for a small amount

time.sleep(settings.SERVER_SLEEP)

if this is the main thread of execution start the model server

process

if name == “main”:

classify_process()

run_model_server.py 文件包含我们的classify_process 函数。这个函数加载我们的模型，然后对一批图像运行预测。这个过程最好在 GPU 上执行，但也可以使用 CPU。

在这个例子中，为了简单起见，我们将使用在 ImageNet 数据集上预训练的 ResNet50。您可以修改classify_process 以利用您自己的深度学习模型。

WSGI 配置

==================================================================

add our app to the system path

import sys

sys.path.insert(0, “/var/www/html/keras-complete-rest-api”)

import the application and away we go…

from run_web_server import app as application

文件 keras_rest_api_app.wsgi 是我们深度学习 REST API 的一个新组件。这个 WSGI 配置文件将我们的服务器目录添加到系统路径并导入 Web 应用程序以启动所有操作。我们在 Apache 服务器设置文件 /etc/apache2/sites-available/000-default.conf 中指向此文件，稍后将在本博文中介绍。

压力测试

===============================================================

import the necessary packages

from threading import Thread

import requests

import time

initialize the Keras REST API endpoint URL along with the input

image path

KERAS_REST_API_URL = “http://localhost/predict”

IMAGE_PATH = “jemma.png”

initialize the number of requests for the stress test along with

the sleep amount between requests

NUM_REQUESTS = 500

SLEEP_COUNT = 0.05

def call_predict_endpoint(n):

load the input image and construct the payload for the request

image = open(IMAGE_PATH, “rb”).read()

payload = {“image”: image}

submit the request

r = requests.post(KERAS_REST_API_URL, files=payload).json()

ensure the request was sucessful

if r[“success”]:

print(“[INFO] thread {} OK”.format(n))

otherwise, the request failed

else:

print(“[INFO] thread {} FAILED”.format(n))

loop over the number of threads

for i in range(0, NUM_REQUESTS):

start a new thread to call the API

t = Thread(target=call_predict_endpoint, args=(i,))

t.daemon = True

t.start()

time.sleep(SLEEP_COUNT)

insert a long sleep so we can wait until the server is finished

processing the images

time.sleep(300)

我们的 stress_test.py 脚本将帮助我们测试服务器并确定其限制。我总是建议对您的深度学习 REST API 服务器进行压力测试，以便您知道是否（更重要的是，何时）需要添加额外的 GPU、CPU 或 RAM。此脚本启动 NUM_REQUESTS 线程和 POST 到 /predict 端点。这取决于我们的 Flask 网络应用程序。

编译安装Redis

====================================================================

Redis 是一种高效的内存数据库，它将充当我们的队列/消息代理。获取和安装Redis非常简单：

$ wget http://download.redis.io/redis-stable.tar.gz

$ tar xvzf redis-stable.tar.gz

$ cd redis-stable

$ make

$ sudo make install

创建您的深度学习 Python 虚拟环境

===============================================================================

安装附加包：

$ workon dl4cv

$ pip install flask

$ pip install gevent

$ pip install requests

$ pip install redis

安装 Apache Web 服务器

============================================================================

可以使用其他 Web 服务器，例如 nginx，但由于我对 Apache 有更多的经验（因此通常更熟悉 Apache），因此我将在此示例中使用 Apache。 Apache 可以通过以下方式安装：

$ sudo apt-get install apache2

如果您使用 Python 3 创建了一个虚拟环境，您将需要安装 Python 3 WSGI + Apache 模块：

$ sudo apt-get install libapache2-mod-wsgi-py3

$ sudo a2enmod wsgi

要验证是否安装了 Apache，请打开浏览器并输入 Web 服务器的 IP 地址。如果您看不到服务器启动画面，请确保打开端口 80 和端口 5000。就我而言，我服务器的 IP 地址是 54.187.46.215（你的会有所不同）。在浏览器中输入这个，我看到：

Sym-link链接您的 Flask + 深度学习应用程序

========================================================================================

默认情况下，Apache 提供来自 /var/www/html 的内容。我建议创建一个从 /var/www/html 到 Flask Web 应用程序的符号链接。我已将我的深度学习 + Flask 应用程序上传到名为 keras-complete-rest-api 的目录中的主目录：

$ ls ~

keras-complete-rest-api

我可以通过以下方式将其符号链接到 /var/www/html：

$ cd /var/www/html/

$ sudo ln -s ~/keras-complete-rest-api keras-complete-rest-api

更新您的 Apache 配置以指向 Flask 应用程序

=======================================================================================

为了将 Apache 配置为指向我们的 Flask 应用程序，我们需要编辑 /etc/apache2/sites-available/000-default.conf 。在你最喜欢的文本编辑器中打开（这里我将使用 vi ）：

$ sudo vi /etc/apache2/sites-available/000-default.conf

在文件的顶部提供您的 WSGIPythonHome（Python bin 目录的路径）和 WSGIPythonPath（Python 站点包目录的路径）配置：

WSGIPythonHome /home/ubuntu/.virtualenvs/keras_flask/bin

WSGIPythonPath /home/ubuntu/.virtualenvs/keras_flask/lib/python3.5/site-packages

…

在 Ubuntu 18.04 上，您可能需要将第一行更改为：

WSGIPythonHome /home/ubuntu/.virtualenvs/keras_flask

由于我们在本示例中使用 Python 虚拟环境（我将我的虚拟环境命名为 keras_flask ），因此我们为 Python 虚拟环境提供 bin 和 site-packages 目录的路径。然后在的正文中，在 ServerAdmin 和 DocumentRoot 之后，添加：

…

WSGIDaemonProcess keras_rest_api_app threads=10

WSGIScriptAlias / /var/www/html/keras-complete-rest-api/keras_rest_api_app.wsgi

WSGIProcessGroup keras_rest_api_app

WSGIApplicationGroup %{GLOBAL}

Order deny,allow

Allow from all

…

符号链接 CUDA 库（可选，仅限 GPU）

如果您将 GPU 用于深度学习并希望利用 CUDA（您为什么不这样做），不幸的是，Apache 不了解 /usr/local/cuda/lib64 中的 CUDA 的 *.so 库。

我不确定什么是“最正确”的方式向 Apache 指示这些 CUDA 库所在的位置，但“完全破解”解决方案是将所有文件从 /usr/local/cuda/lib64 符号链接到 /usr/lib ：

$ cd /usr/lib

$ sudo ln -s /usr/local/cuda/lib64/* ./

重新启动 Apache Web 服务器

==============================================================================

编辑完 Apache 配置文件并可选择符号链接 CUDA 深度学习库后，请务必通过以下方式重新启动 Apache 服务器：

$ sudo service apache2 restart

测试您的 Apache Web 服务器 + 深度学习端点

=======================================================================================

要测试 Apache 是否已正确配置以提供 Flask + 深度学习应用程序，请刷新您的 Web 浏览器：

您现在应该看到文本“欢迎使用 PyImageSearch Keras REST API！” 在您的浏览器中。一旦你达到这个阶段，你的 Flask 深度学习应用程序就应该准备好了。综上所述，如果您遇到任何问题，请确保参考下一节……

提示：如果遇到问题，请监控 Apache 错误日志

====================================================================================

多年来，我一直在使用 Python + Web 框架，例如 Flask 和 Django，但在正确配置环境时仍然会出错。虽然我希望有一种防弹的方法来确保一切顺利，但事实是，在此过程中可能会出现一些问题。好消息是 WSGI 将 Python 事件（包括失败）记录到服务器日志中。在 Ubuntu 上，Apache 服务器日志位于 /var/log/apache2/ ：

$ ls /var/log/apache2

access.log error.log other_vhosts_access.log

调试时，我经常打开一个运行的终端：

$ tail -f /var/log/apache2/error.log

…所以我可以看到第二个错误滚滚而来。使用错误日志帮助您在服务器上启动和运行 Flask。

启动您的深度学习模型服务器

========================================================================

您的 Apache 服务器应该已经在运行。如果没有，您可以通过以下方式启动它：

$ sudo service apache2 start

然后，您将要启动 Redis 存储：

$ redis-server

并在单独的终端中启动 Keras 模型服务器：

$ python run_model_server.py

Loading model…

…

Model loaded

从那里尝试向您的深度学习 API 服务提交示例图像：

$ curl -X POST -F image=@jemma.png ‘http://localhost/predict’

{

“predictions”: [

{

“label”: “beagle”,

“probability”: 0.9461532831192017

{

“label”: “bluetick”,

“probability”: 0.031958963721990585

{

“label”: “redbone”,

“probability”: 0.0066171870566904545

{

“label”: “Walker_hound”,

“probability”: 0.003387963864952326

{

“label”: “Greater_Swiss_Mountain_dog”,

“probability”: 0.0025766845792531967

}

“success”: true

}

如果一切正常，您应该会收到来自深度学习 API 模型服务器的格式化 JSON 输出，其中包含类别预测 + 概率。

对您的深度学习 REST API 进行压力测试

==================================================================================

当然，这只是一个例子。让我们对深度学习 REST API 进行压力测试。打开另一个终端并执行以下命令：

$ python stress_test.py

[INFO] thread 3 OK

[INFO] thread 0 OK

[INFO] thread 1 OK

…

[INFO] thread 497 OK

[INFO] thread 499 OK

[INFO] thread 498 OK

在 run_model_server.py 输出中，您将开始看到记录到终端的以下行：

Batch size: (4, 224, 224, 3)
Batch size: (9, 224, 224, 3)

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

TOP级别安卓开发

关注

25
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
在生产环境中使用 Keras、Redis、Flask 和 Apache 进行深度学习

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
复制链接

扫一扫