Streamlit实战手册：从数据应用到机器学习模型部署

最新推荐文章于 2024-06-10 10:55:50 发布

walkskyer

最新推荐文章于 2024-06-10 10:55:50 发布

阅读量2.6k

点赞数 15

分类专栏： golang标准库文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/walkskyer/article/details/136901529

版权

golang标准库专栏收录该内容

87 篇文章 11 订阅

订阅专栏

Streamlit实战手册：从数据应用到机器学习模型部署

在这里插入图片描述

简介

Streamlit 是一款开源的Python库，旨在帮助开发者快速构建数据应用。它通过简化数据应用的开发流程，让开发者能够专注于数据处理与分析逻辑，而不必花费大量时间在前端设计上。Streamlit 的出现极大地降低了数据科学家和开发者将数据分析结果转化为互动式Web应用的门槛。

该库通过一套简洁的API，支持各种数据可视化库，如Matplotlib、Plotly和Altair，使得在Web应用中展示动态图表变得轻而易举。用户只需用少量的代码，就可以实现数据的快速呈现和交互式控件，如滑块、按钮和选择器等，从而创建出既美观又功能强大的数据应用。

Streamlit 的核心优势在于其“写即展现”的特性。开发者通过编写Python脚本，就可以实时看到应用的变化，这大大加快了开发和迭代的速度。无论是数据分析师在探索性数据分析（EDA）中快速构建和分享结果，还是机器学习工程师需要部署模型进行实时预测，Streamlit 都能提供强大的支持。

接下来的章节将深入介绍Streamlit的安装、核心功能、进阶应用和部署，以及通过实战项目展示如何有效利用Streamlit进行数据应用开发。我们将从安装开始，逐步探索如何利用Streamlit的强大功能来构建交互式数据应用。

Streamlit核心功能介绍

Streamlit的安装

在深入探讨Streamlit的强大功能之前，首先需要确保Streamlit被正确安装在您的开发环境中。安装Streamlit非常简单，只需几个简单的步骤即可完成。以下是安装Streamlit的基本命令：

pip install streamlit

这条命令将会从Python包索引(PyPI)下载并安装最新版本的Streamlit。请确保您的开发环境已经安装了Python（版本3.6及以上），以及pip（Python的包管理器）。

安装完成后，可以通过在命令行中运行以下命令来验证Streamlit是否安装成功：

streamlit hello

这条命令会启动一个Streamlit的示例应用，如果您的浏览器自动打开了一个含有Streamlit欢迎界面的页面，恭喜您，Streamlit已成功安装并准备好使用了。

创建第一个Streamlit应用

有了Streamlit，创建一个基本的数据应用就像编写一个Python脚本一样简单。下面是一个简单的Streamlit应用示例：

import streamlit as st

st.title('我的第一个Streamlit应用')
st.write('这是一个非常简单的应用，用来展示Streamlit的基本用法。')

将上述代码保存为app.py，然后在命令行中运行以下命令来启动应用：

streamlit run app.py

您的默认浏览器将自动打开一个新的标签页，展示了您的Streamlit应用。恭喜您，您已经成功创建了第一个Streamlit应用！

界面布局与导航

Streamlit提供了多种方式来组织您的应用界面，使其既美观又实用。例如，您可以使用侧边栏（sidebar）来添加输入控件，而不是将它们全部堆砌在主页面上：

import streamlit as st

st.title('带有侧边栏的应用')

# 在侧边栏添加一个滑块
number = st.sidebar.slider('选择一个数字', 0, 100, 50)

# 在主页面显示选择的数字
st.write('您选择的数字是：', number)

数据处理与展示

Streamlit使得在应用中展示数据变得异常简单。无论是显示DataFrame还是绘制图表，Streamlit都能轻松应对。下面是一个展示DataFrame的例子：

import streamlit as st
import pandas as pd
import numpy as np

# 创建一个简单的DataFrame
data = pd.DataFrame({
    '第一列': np.random.randn(10),
    '第二列': np.random.rand(10)
})

st.write('这是一个DataFrame示例：')
st.dataframe(data)

通过上述简介和核心功能的介绍，我们已经初步了解了Streamlit的安装、创建应用、界面布局与数据展示等基础知识。接下来的章节将深入探讨Streamlit的进阶应用，包括交互式组件的使用、图表与可视化技巧、状态管理等内容。

Streamlit的进阶应用

交互式组件

Streamlit的交互式组件允许用户与应用进行互动，极大地增强了应用的可用性和互动性。以下是一些常用的交互式组件及其使用示例：

按钮

import streamlit as st

if st.button('显示消息'):
    st.write('Streamlit 是真的很酷！')

复选框

import streamlit as st

if st.checkbox('显示图表'):
    st.line_chart([0, 1, 2, 3, 4])

单选按钮

import streamlit as st

genre = st.radio(
    "你最喜欢哪种类型的音乐？",
    ('流行', '摇滚', '爵士'))

st.write(f'你选择的是：{genre}')

滑块

import streamlit as st

age = st.slider('你的年龄', 0, 130, 25)
st.write("我 ", age, ' 岁')

图表与可视化

Streamlit内置了对多种图表和数据可视化库的支持，包括但不限于Matplotlib、Plotly和Altair。这让开发者能够轻松地将复杂的数据可视化集成到他们的应用中。

使用Matplotlib绘图

import streamlit as st
import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(0, 10, 30)
y = np.sin(x)

fig, ax = plt.subplots()
ax.plot(x, y)

st.pyplot(fig)

使用Plotly创建交互式图表

import streamlit as st
import plotly.express as px

df = px.data.iris()
fig = px.scatter(df, x="sepal_width", y="sepal_length", color="species")

st.plotly_chart(fig)

状态管理与会话状态

在复杂的Streamlit应用中，管理应用状态变得尤为重要。Streamlit 提供了会话状态（session state）功能，允许开发者在多次运行之间保持变量状态。

import streamlit as st

# 初始化一个计数器
if 'count' not in st.session_state:
    st.session_state.count = 0

# 创建一个增加计数的按钮
if st.button('增加'):
    st.session_state.count += 1

st.write('计数器:', st.session_state.count)

通过这些进阶功能，开发者可以构建出更加复杂和功能丰富的Streamlit应用。接下来，我们将通过实战项目深入探索Streamlit的实际应用，包括如何进行数据探索性分析和机器学习模型的部署。

实战项目

在本节中，我们将通过两个实战项目深入探索Streamlit的强大功能：一个是数据探索性分析应用，另一个是机器学习模型部署。这些项目将帮助你理解如何在实际场景中应用Streamlit。

案例分析：数据探索性分析应用

在这个项目中，我们将使用Streamlit构建一个数据探索性分析（EDA）应用，允许用户上传数据集，进行基本的数据探索，包括查看数据集的概览、统计信息、以及生成各种图表来可视化数据。

项目步骤：

数据上传功能：

import streamlit as st
import pandas as pd

uploaded_file = st.file_uploader("上传你的CSV或Excel文件", type=['csv', 'xlsx'])
if uploaded_file is not None:
    df = pd.read_csv(uploaded_file)
    st.write(df)

数据集概览：

提供数据的基本信息，如行数、列数、缺失值统计等。

if uploaded_file is not None:
    st.write("数据集概览：")
    st.write("行数：", df.shape[0])
    st.write("列数：", df.shape[1])
    st.write("缺失值统计：", df.isnull().sum())

数据可视化：

使用Streamlit内置的图表功能，例如折线图、柱状图、箱型图等，来展示数据的分布情况。

import streamlit as st
import pandas as pd
import numpy as np

# 示例：生成并展示一个随机数据的直方图
if uploaded_file is not None:
    st.write("数据分布：")
    selected_column = st.selectbox("选择一个列来展示其分布", df.columns)
    hist_values = np.histogram(df[selected_column], bins=20, range=(0,100))[0]
    st.bar_chart(hist_values)

案例分析：机器学习模型部署

在这个项目中，我们将展示如何使用Streamlit部署一个简单的机器学习模型，使用户能够输入数据并获得预测结果。

项目步骤：

模型准备：

假设我们已经有一个训练好的模型，这里以一个线性回归模型为例。

构建Streamlit应用：

创建一个应用界面，用户可以输入他们想要预测的数据，应用将展示模型的预测结果。

import streamlit as st
from sklearn.linear_model import LinearRegression

# 模拟一个已训练的模型
model = LinearRegression()
model.coef_ = np.array([1.0])  # 假设的权重
model.intercept_ = 0  # 假设的截距

st.title('简单线性回归模型部署')

# 用户输入
X_test = st.number_input("输入X的值来预测Y")

# 预测并展示结果
if st.button('预测'):
    y_pred = model.predict([[X_test]])
    st.write(f'预测的Y值为: {y_pred[0]}')

通过这两个实战项目，你应该对如何使用Streamlit来处理实际数据和部署模型有了更深的理解。接下来，我们将讨论如何将Streamlit应用部署到云平台，使其可以被公开访问。

Streamlit应用部署

将Streamlit应用部署到云端，可以让更多的用户访问您的应用。本节将介绍如何将Streamlit应用部署到Heroku，以及其他流行的部署平台。

部署到Heroku

Heroku是一个支持多种编程语言的云平台，适合快速部署应用。部署Streamlit应用到Heroku需要以下几个步骤：

准备应用：
确保您的Streamlit应用已经在本地测试通过，且项目根目录中包含requirements.txt文件，列出了所有的依赖。
创建Procfile：
在项目的根目录下创建一个名为Procfile的文件（没有文件扩展名），并写入以下内容：
```
web: sh setup.sh && streamlit run app.py
```
其中app.py是您的Streamlit应用的主文件。

创建setup.sh：
同样在项目根目录下创建setup.sh文件，以配置正确的Streamlit设置。示例内容如下：

mkdir -p ~/.streamlit/
echo "\
[server]\n\
headless = true\n\
enableCORS=false\n\
port = $PORT\n\
" > ~/.streamlit/config.toml

使用Git将应用推送到Heroku：
如果您还没有Heroku账号，需要先注册一个。然后，使用Heroku CLI（命令行工具）登录，并创建一个新的应用。最后，使用Git将您的应用推送到Heroku上。
访问您的应用：
推送完成后，Heroku会自动构建并部署您的Streamlit应用。构建完成后，您可以通过Heroku提供的链接访问您的应用。

部署到其他平台

除了Heroku，还有许多其他平台支持Streamlit应用的部署，例如：

Google Cloud Platform (GCP)
Amazon Web Services (AWS)
Microsoft Azure

这些平台可能需要更复杂的配置，但它们提供了更多的灵活性和控制权，适合规模较大或需要更多定制的应用。

部署到这些云平台通常涉及到容器化应用（如使用Docker），然后在目标平台上配置相应的服务。由于每个平台的具体步骤有所不同，建议查阅相应平台的官方文档来获取详细指导。

性能优化技巧

当您的Streamlit应用开始变得复杂并处理大量数据时，性能优化成为了一个不可忽视的问题。以下是一些性能优化的技巧，可以帮助您的应用运行得更快，更流畅。

使用缓存机制

Streamlit提供了一个强大的缓存机制，允许您缓存函数的输出，避免在每次用户互动时重新计算数据。使用st.cache装饰器，可以显著提高应用的性能。

import streamlit as st

@st.cache
def expensive_computation(a, b):
    # 假设这是一个耗时的计算
    return a * b + 10

result = expensive_computation(2, 3)
st.write(result)

优化数据加载

如果您的应用需要从外部数据源（如数据库或API）加载数据，确保尽可能地减少数据传输量。例如，只查询需要的数据，而不是加载整个数据库表。

@st.cache
def load_data(query):
    # 根据需要执行查询，而不是加载整个数据集
    return run_query(query)

data = load_data("SELECT * FROM table WHERE condition = True")

使用向量化操作而非循环

在处理数据时，尽量使用向量化操作，这通常比Python的循环更快。Pandas和NumPy库在这方面非常有用。

import numpy as np
import pandas as pd

# 向量化操作示例
data = pd.DataFrame({'A': np.random.rand(1000), 'B': np.random.rand(1000)})
data['C'] = data['A'] + data['B']  # 向量化操作

减少图表的复杂性

虽然复杂的图表看起来很酷，但它们可能会显著降低应用的性能。尝试简化图表的设计，减少绘图所用的数据点数量。

使用分批处理和异步加载

对于处理大量数据或执行复杂计算的应用，考虑使用分批处理或异步加载技术。这可以提高应用的响应性，改善用户体验。

import asyncio

async def async_expensive_computation(a, b):
    # 异步执行耗时操作
    await asyncio.sleep(1)  # 模拟耗时操作
    return a * b + 10

result = await async_expensive_computation(2, 3)
st.write(result)

通过以上技巧，您可以显著提高Streamlit应用的性能。始终记得，优化的关键是识别瓶颈所在并针对性地解决问题。在进行任何优化之前，了解您的应用在哪些地方最耗时是很有帮助的。

安全最佳实践

随着您的Streamlit应用变得越来越复杂，确保应用的安全性也同样重要。这部分将探讨一些保护Streamlit应用的安全最佳实践。

保护敏感数据

当您的应用处理敏感数据（例如个人信息或商业秘密）时，确保数据在传输和存储过程中都是加密的。使用HTTPS协议可以保护数据在客户端和服务器之间的传输过程不被窃听。

# 确保Streamlit应用部署在支持HTTPS的服务器上

使用环境变量管理敏感信息

不要在代码中硬编码敏感信息（如数据库密码或API密钥）。使用环境变量来管理这些敏感信息，这样可以避免将它们暴露在版本控制系统中。

# 设置环境变量（示例在Linux/MacOS上）
export DATABASE_PASSWORD="your_secure_password"

import os

# 在应用中使用环境变量
database_password = os.getenv("DATABASE_PASSWORD")

验证用户输入

对于所有用户输入，包括文件上传，都应进行验证，以防止注入攻击或其他恶意活动。确保验证输入的有效性，并对任何异常输入采取措施。

import streamlit as st

# 示例：简单的输入验证
user_input = st.text_input("请输入您的名字")
if not user_input.isalpha():
    st.error("请不要输入数字或特殊字符。")

限制访问

如果您的应用不是公开的，考虑添加认证机制来限制访问。虽然Streamlit默认不提供内置的认证功能，但您可以通过第三方服务或使用前端代理服务器来实现这一功能。

# 考虑使用像Streamlit Sharing或者其他支持基本认证的托管平台

更新依赖

定期更新Streamlit及其依赖项至最新版本，以确保您的应用受到最新安全补丁的保护。使用依赖管理工具，如pip的--upgrade选项，可以帮助您保持依赖的最新状态。

pip install --upgrade streamlit

监控与日志记录

实现监控和日志记录机制，以便于追踪任何异常行为或性能问题。日志记录对于诊断安全事件和确保应用健康运行来说非常关键。

# 使用标准的Python日志记录模块
import logging

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

logger.info("应用启动")

通过实施这些安全最佳实践，您可以增强Streamlit应用的安全性，保护您和您用户的数据免受威胁。安全是一个持续的过程，需要定期审查和更新您的应用以应对新出现的安全威胁。

walkskyer

关注

15
点赞
踩
34

收藏

觉得还不错? 一键收藏
打赏
0
评论
Streamlit实战手册：从数据应用到机器学习模型部署

Streamlit 是一款开源的Python库，旨在帮助开发者快速构建数据应用。它通过简化数据应用的开发流程，让开发者能够专注于数据处理与分析逻辑，而不必花费大量时间在前端设计上。Streamlit 的出现极大地降低了数据科学家和开发者将数据分析结果转化为互动式Web应用的门槛。该库通过一套简洁的API，支持各种数据可视化库，如Matplotlib、Plotly和Altair，使得在Web应用中展示动态图表变得轻而易举。
复制链接

扫一扫