黄小耶@-CSDN博客

原创 Prometheus + Grafana + Cadvisor：构建高效企业级服务监控体系

摘要：本文介绍了使用cAdvisor、Prometheus和Grafana搭建Docker容器监控系统的完整方案。通过安装必要镜像（cAdvisor、Prometheus、Grafana和node-exporter），配置prometheus.yml文件定义监控目标，编写docker-compose文件管理容器部署，最后在Grafana中配置数据源并导入仪表板模板(193和9276)，实现容器和主机资源的可视化监控。这套方案能有效帮助运维人员及时发现容器运行问题，保障系统稳定运行。

2025-05-30 17:28:09 631

原创 Docker Compose 配置详解：构建FastAPI的容器化实践

本文详解基于DockerCompose的FastAPI应用容器化编排方案。通过docker-compose.yml文件配置MySQL、Redis、FastAPI、Celery和Nginx五大核心服务，实现包括数据库持久化、异步任务处理、反向代理等完整功能。重点解析了服务间网络通信、数据卷挂载、健康检查等关键配置，并给出生产环境优化建议：敏感信息安全管理（使用DockerSecret）、性能调优参数（连接池配置）以及高可用部署方案（多副本负载均衡）。最后提供了常用操作命令，帮助开发者快速部署和管理容器化应用。

2025-05-28 19:32:19 1005

原创深度解析 Dockerfile 配置：构建高效轻量的FastAPI 应用镜像

CMD与RUN的区别RUN：构建时执行的命令（如安装依赖）。CMD：容器启动时执行的命令，仅支持一条，后者会覆盖前者。Uvicorn 参数解析main:appmain为 FastAPI 应用模块名，app为应用实例变量名。：监听容器所有网络接口，确保外部可访问。：指定服务端口，需与映射。生产环境优化：启用多进程模式，利用多核 CPU，提升并发性能。--reload：开发环境启用热重载，生产环境需移除。

2025-05-28 18:58:24 1240

原创深度解析 Nginx 配置：从性能优化到 HTTPS 安全实践

本文详细解析生产环境下Nginx的核心配置，涵盖性能优化、HTTPS安全、反向代理和静态资源处理。通过worker_processes、sendfile、Gzip压缩等提升性能；严格配置TLS协议和安全响应头保障通信安全；灵活设置反向代理支持WebSocket；采用expires和Cache-Control优化静态资源缓存。建议根据业务需求调整参数，定期进行安全审计和性能测试，确保Nginx服务的高效稳定运行。文中还提供了配置验证、日志分析等实用建议。

2025-05-28 18:28:43 1443

原创 docker基础

Docker 是一种容器化技术，允许开发者将应用及其依赖打包成轻量级、可移植的容器。本文介绍了 Docker 的基础命令，涵盖镜像、容器、卷、网络等操作。镜像命令包括检索、下载、查询和删除；容器命令涉及运行、查看、启动、停止、重启、日志查看和删除等操作。此外，还介绍了镜像的分享、保存、推送，以及卷和网络的创建、查看、删除等操作。高阶命令如 docker compose 用于管理多容器应用的上线、下线、启动、停止和扩容。这些命令为开发者提供了灵活的工具，帮助高效管理和部署应用。

2025-05-23 21:43:00 633

原创大数据相关操作

本文介绍了大数据环境的基础配置和Hadoop集群的安装部署过程。主要内容包括：1) 主机环境配置（修改主机名、固定IP、SSH免密登录等）；2) Hadoop的下载与解压；3) Hadoop环境变量配置；4) HDFS、MapReduce、YARN三大核心组件的详细配置方法；5) 集群节点配置和文件同步。文章提供了完整的命令行操作指南，涵盖从系统设置到Hadoop集群搭建的全流程，适合用于构建基本的Hadoop分布式计算环境。

2025-05-20 12:34:35 889

原创 Redis常见命令

本文总结了Redis常用命令，涵盖key操作、字符串、列表、哈希、集合和有序集合等数据类型。主要内容包括：1) key的切换、查询、删除和设置有效期；2) 字符串的增删改查及自增操作；3) 列表的左右增删、范围查询和修改；4) 哈希的字段操作；5) 集合的交并差运算；6) 有序集合的权重排序和范围查询；7) Redis事务的基本使用。这些命令涵盖了Redis主要数据结构的核心操作，是使用Redis的基础知识。

2025-04-23 17:50:40 208

原创如何快速创建Fastapi项目

通过以上步骤，你就可以快速创建一个简单的 FastAPI 项目。如果需要更复杂的项目结构或功能，可以根据 FastAPI 的文档进一步学习和扩展。

2025-03-03 11:35:16 246

原创 linux常见命令

Linux常用命令摘要本文整理了Linux系统中最常用的13个命令，包括：文件和目录操作：ls、mkdir、touch、rm、cp、mv 文件查看：cat、more 压缩解压：tar 用户管理：useradd、passwd、userdel、groupadd 权限修改：chmod 每个命令都列出了常用选项及其功能说明，并提供了具体使用示例，如ls -l显示详细文件信息，tar -zcvf创建gzip压缩包等。这些命令覆盖了Linux日常操作的基本需求，适合初学者快速查阅使用。

2025-01-04 12:35:31 445

原创 Hadoop（环境搭建篇）

本文介绍了在Ubuntu 22.04系统上进行网络配置和虚拟机克隆的步骤。主要内容包括：1）通过虚拟网络编辑器修改IP地址；2）使用终端命令修改主机名；3）通过netplan配置文件固定IP地址并重启网络服务；4）修改主机名映射文件；5）同步时区为亚洲/上海；6）关闭虚拟机后克隆新节点node2，并强调需打开node1和node2虚拟机。所有操作都需要在Ubuntu 22.04系统环境下完成。

2024-11-13 17:37:46 590

原创 python如何使用Rabbitmq

RabbitMQ是一个开源的消息中间件，基于AMQP（Advanced Message Queue Protocol，高级消息队列协议）协议实现。RabbitMQ被广泛应用于各种应用场景，如异步任务处理、日志传输、实时消息推送等。在微服务架构中，RabbitMQ是一个常见的消息中间件选择，它可以帮助服务之间实现解耦和异步通信，提高系统的可扩展性和稳定性。RabbitMQ提供了一个简单的用户页面，用户可以监控和管理消息、队列、交换器、绑定等资源。

2024-11-13 09:29:05 1877 1

原创宝塔如何部署Django项目（前后端分离篇）

本文介绍了使用宝塔面板部署前后端项目的完整流程。前端部分详细说明了Vue3项目的打包方法、站点添加步骤，以及history路由模式的特殊配置；后端部分涵盖Django项目打包、数据库配置和文件解压部署。文章提供了清晰的命令行操作和界面截图指引，最后通过域名访问验证部署是否成功。整个部署过程步骤明确，适合开发者快速完成项目上线。

2024-10-24 19:30:15 1048

原创阿里云服务器如何安装宝塔

本文介绍了搭建网站的环境准备流程：首先需在阿里云注册域名并完成备案（约1周时间），然后购买云服务器（推荐ECS云服务器）。接着通过宝塔面板安装服务器环境，需注意保存安装信息并放行8888端口。最后通过外网地址登录宝塔面板完成基础设置。整个流程包括域名解析、服务器选购、环境安装配置等关键步骤，为后续网站建设奠定基础。

2024-10-24 17:04:36 1702

原创 Django-rest-framework(DRF)如何实现自定义认证

本文介绍了在Django REST框架中实现JWT认证的方法。首先创建了一个自定义认证类MyAuthentication，继承自BasicAuthentication，用于处理JWT令牌的验证。该认证类包含创建JWT令牌的函数create_token和验证令牌的逻辑，支持处理令牌过期、解码错误等异常情况。最后在REST_FRAMEWORK配置中全局注册该认证类，实现全系统的JWT认证功能。整个方案利用Django的SECRET_KEY作为JWT签名密钥，并设置了3分钟的有效期。

2024-10-15 14:06:46 369 1

原创 Django-rest-framework(DRF)怎么使用redis

Redis是一款高性能内存数据库，主要用作缓存、会话存储、消息中间件等。它支持数据持久化、发布订阅模式，并提供了计数器、排行榜等实用功能。在Django中可通过django-redis进行集成：1) 配置CACHES指定Redis后端和数据库；2) 使用cache_page装饰器缓存视图响应；3) 通过cache对象手动设置/获取缓存数据。这种集成能有效提升Web应用性能，减轻数据库压力。

2024-10-10 20:32:01 880 1

原创 Django-rest-framework(DRF)怎么实现Excel文件导出

本文介绍了Python中openpyxl库的使用方法及其与Django框架的集成应用。主要内容包括：一、openpyxl库的安装方法；二、openpyxl核心功能详解，涵盖工作簿的创建/加载/保存、工作表操作、单元格操作及样式设置；三、Django项目中如何使用openpyxl生成Excel文件并实现下载功能，包含表格创建、数据填充、样式设置等完整示例代码。该技术方案可用于Django项目中动态导出数据库数据为Excel文件。

2024-10-10 10:48:37 904 1

原创 Mysql的命令大全

本文总结了MySQL数据库的基本操作语法，包括数据库、数据表和数据的增删改查命令，数据类型和约束条件的说明，以及单表和多表查询方法。同时介绍了视图、事务、索引等高级功能的用法，并提供了SQL优化和锁机制的相关操作指南。内容涵盖了MySQL从基础到进阶的主要知识点，可作为数据库操作的快速参考手册。

2024-08-27 20:29:35 8908 2

原创 python爬取豆瓣电影数据

本文介绍了如何使用Python爬取豆瓣电影数据并存储到MySQL数据库。通过分析豆瓣电影排行榜的AJAX接口，使用requests库发送请求获取JSON数据。采用面向对象编程方式，定义Douban类实现数据爬取、解析和存储功能。代码包含发送请求、解析数据（电影标题、评分、类型等字段）、创建数据库表及保存数据等完整流程。文中提供了解决常见数据库连接和数据插入错误的方法，如创建数据库前设置全局SQL模式。最终实现爬取6000多条电影数据并存储到本地MySQL数据库的功能。

2024-08-14 11:44:10 1558 1

原创 Django-rest-framework(DRF)怎么使用celery

Celery是一个基于Python的分布式异步任务队列框架，支持实时任务处理和定时调度。其架构包含消息中间件(Broker)、任务执行单元(Worker)和结果存储(Backend)三部分。在Django中集成Celery需要安装相关库并配置Redis作为Broker和Backend，通过@shared_task装饰器定义异步任务函数，使用delay()方法提交任务，通过worker进程执行。Celery支持两种任务模式：delay()用于异步任务，apply_async()支持定时任务设置。该框架适用于邮

2024-08-13 20:56:20 1655 2

原创 git常见命令

【代码】git常见命令。

2024-08-13 18:18:36 301 1

原创 Python使用JWT的详细教程

JWT（JSON Web Tokens）是一种用于安全传输信息的URL安全令牌标准，由Header、Payload和Signature三部分组成。Header包含算法和类型信息，Payload存储用户数据，Signature用于验证完整性。在Python中可通过PyJWT库实现JWT的生成与验证：使用jwt.encode()生成带有效期和密钥的令牌，通过jwt.decode()验证令牌有效性。示例代码演示了如何创建有效期为12小时的JWT令牌，并使用相同密钥进行解密验证。JWT广泛应用于身份认证领域，能有效

2024-07-30 20:18:55 4442 1

原创 pip清华源（国内清华镜像）

摘要：为解决Python安装国外第三方库速度慢的问题，推荐使用清华镜像源。清华镜像库全且稳定，使用方式为在pip install命令后添加"-i https://pypi.tuna.tsinghua.edu.cn/simple"参数，如安装scikit-learn时速度可提升5倍。该方法简单有效，只需在安装命令中指定镜像源地址即可大幅提升下载速度。

2024-07-30 19:26:47 4860

原创 Django+Vue3如何解决前后端跨域问题Access-Control-Allow-Origin

Vue3访问Django后端API时出现跨域问题的解决方案：由于前后端端口不同(5174和8000)导致CORS限制，可通过django-cors-headers库解决。具体步骤：1)安装该库；2)在Django配置中添加corsheaders应用和中间件；3)设置CORS_ALLOW_ALL_ORIGINS=True允许所有源访问，并配置相关头部信息。这样就能解除浏览器对跨域请求的安全限制，实现前后端正常通信。

2023-08-30 20:50:13 686 1

原创机器学习（特征工程篇）

本文介绍了七种常见的特征工程技术：1. 均值标准化（数值数据）：通过减去均值并除以标准差实现归一化；2. 范围缩放（数值数据）：将特征值缩放到指定区间（如0-1）；3. 归一化（数值数据）：通过范数归一化使特征值分布一致；4. 二值化（图片数据）：将连续值转换为0/1二值；5. 独热编码（字符串数据）：将类别转换为二进制特征；6. 标签编码（字符串数据）：将类别映射为数字。这些方法能提高模型性能、解释性，处理不同数据类型，解决缺失值和异常值问题。均基于sklearn.preprocessing模块实现，包括

2023-05-30 16:06:47 401 1

原创 Selenium自动化(环境搭建篇）

本文介绍了Selenium的环境搭建步骤：首先通过pip安装Selenium库；然后查看并下载对应浏览器版本的驱动文件；最后将驱动放入Python安装目录，并通过简单代码测试验证环境搭建成功。文章以Edge浏览器为例，详细说明了驱动下载和配置过程，帮助初学者快速完成Selenium基础环境的部署。

2023-02-09 11:30:57 907

原创 Django的Shell命令

Django是一个高效Web开发框架，提供完整的项目构建流程。通过命令行工具可以快速创建项目(django-admin startproject)和应用(python manage.py startapp)，管理数据库迁移(makemigrations/migrate)，自动生成模型(inspectdb)。还支持创建缓存表(createcachetable)、进入交互式shell以及配置后台管理(createsuperuser)。这些命令简化了开发流程，帮助开发者在截止日期前完成高质量项目。

2023-01-14 11:07:51 331 1

原创 Pandas如何读取数据库(SQL)

本文介绍了使用Python连接MySQL数据库并查询数据的代码实现。首先导入必要的库：pymysql用于数据库连接，pandas用于数据处理，warnings用于忽略警告。代码通过pymysql.connect()方法建立数据库连接，需提供主机地址、端口、用户名、密码和数据库名等参数。使用pd.read_sql()执行SQL查询并将结果存储在DataFrame中，最后关闭数据库连接并打印查询结果。整个过程实现了从Python到MySQL数据库的数据交互。

2023-01-10 10:47:44 932 1

原创 Pyecharts可视化二手房信息

本文介绍了一个基于Python的链家二手房数据可视化分析项目。通过pyecharts库实现了多维度的数据可视化展示，包括：1）房价前十小区的总价和单价柱状图；2）房源装修程度饼图；3）房源数量分布和户型分布的词云图；4）平均价格水球图。项目采用MySQL存储数据，使用pandas进行数据处理，最终通过可拖拽布局整合成交互式可视化大屏。整个流程包含数据连接、预处理、多种图表绘制和大屏整合等步骤，完整代码提供了从数据获取到可视化呈现的一站式解决方案。

2022-12-29 20:24:55 3010 7

原创 Pyecharts可视化全国新冠疫情

本文介绍了基于Python和Pyecharts的新冠疫情数据可视化分析流程。首先通过pandas读取CSV格式的疫情数据，然后使用Pyecharts库创建了多种可视化图表：1)中国疫情分布地图；2)城市/省份确诊病例与无症状感染者的柱状图；3)高风险地区数量的饼图。最后将各图表整合为可交互的可视化大屏，支持自定义布局。所有图表采用统一主题风格，包含标题、图例和交互功能，直观展示了全国各城市和省份的疫情严重程度与风险区域分布情况。完整代码提供了数据处理、图表生成和大屏集成的完整实现方案。

2022-11-30 11:33:30 3935 1

原创 Python爬取全国新冠疫情数据

近几年来，我国一直受着疫情的侵扰，随着每天新闻日夜的更迭，我们该如何从新闻中挖掘到有效信息呢？所以大体有2部分，第一是进行数据采集，第二是进行数据分析和数据可视化。本篇讲述的是如何对新闻的新冠疫情数据进行采集

2022-11-27 17:27:46 6369 4

原创爬虫快速给请求头添加引号和冒号

摘要：本文介绍如何利用正则表达式快速格式化爬虫请求头，避免手动添加引号和冒号的繁琐操作。方法是将原始请求头粘贴到Python文件中，使用正则匹配"(.):(.)"替换为""$1":"$2","，通过快捷键Ctrl+R一键完成批量转换。这种技巧能显著提高构造请求头的工作效率。

2022-11-15 16:28:13 1667 4

原创爬取起点中文网月票榜

本文介绍了如何使用Python爬取起点小说网月票排行榜数据。通过requests库发送网络请求，re模块进行正则匹配，实现分页爬取1-9月份的小说数据。代码主要包括：1)构建随机请求头应对反爬；2)解析列表页获取详情页链接；3)提取小说书名、作者、类型、月票/周票数等关键信息；4)使用csv模块存储数据。程序实现了自动化翻页采集功能，并加入随机延迟提高稳定性，最终将数据写入本地CSV文件。

2022-11-05 20:39:55 1638 4

原创 Python爬取2345天气网

本文介绍了一个基于Python面向对象编程实现的天气预报数据爬取工具。该程序通过requests库获取2345天气网站的动态数据，使用正则表达式解析日期、温度、天气状况等信息，并将结果保存为CSV文件。程序采用类封装的方式，包含数据获取、解析和存储功能，能自动爬取2019-2021年的月度天气数据。关键点包括：1）通过抓包获取动态数据接口；2）使用requests请求和json解析数据；3）正则表达式提取所需字段；4）CSV模块实现数据存储。该工具无需处理复杂反爬机制，适合初学者学习网络爬虫技术。

2022-10-31 15:27:06 5788 14

hhq2002322的博客