moamao_jishuyuan的博客

原创 阿里云从 OSS 将 CSV 推送至内网机器方案

使用 IPsec-VPN 将本地数据中心网络（或公司办公网）与阿里云 VPC 连接，办公网内部 PC 无需修改任何配置即可直接与云上 VPC 中的云资源通信。通过阿里云的数据迁移服务，在本地数据中心部署迁移代理（Agent），直接与 OSS 建立加密隧道。，即使内网备份服务器宕机或网络中断，CSV 数据仍受 OSS 的 99.9999999% 持久性保护。配置复杂度较高，需在公司备份服务器上部署 Agent，建议作为长期演进的目标方案。网络打通后，备份传输在代码层实现，以下是三种由低到高的实现方案。

原创 阿里云函数计算部署广告数据ETL方案

本文介绍了基于阿里云Serverless架构的CSV文件处理方案，通过函数计算FC与对象存储OSS的配合，实现高效、低成本的业务数据处理。方案采用下载函数将CSV内容直接写入OSS，上传函数从OSS读取并存入RDS数据库，两个函数通过OSS共享文件，解决了FC无状态问题。文章详细说明了架构设计、程序改造要点、网络权限配置、部署步骤及成本收益分析，重点阐述了从本地文件系统到OSS的改造过程，包括代码示例和关键配置。该方案具有零运维、自动弹性、高可用等优势，月成本预计低于5元，适合需要处理CSV文件的业务场景。

原创 WebSocket 到底是什么？

WebSocket是一种基于TCP的全双工通信协议，实现了客户端与服务器之间的持久连接和双向实时数据传输。与传统HTTP协议不同，WebSocket建立连接后双方可随时互发消息，无需重复建立连接。其工作原理是通过HTTP协议升级握手，转为WebSocket协议后保持长连接，极大降低了通信开销。典型应用包括即时通讯、在线游戏、实时行情推送等场景，解决了传统轮询方式的高延迟和资源浪费问题。现代浏览器和主流编程语言都提供了完善的WebSocket支持，使其成为实现实时网络应用的首选方案。

原创 git commit 后发现少提交一个文件， 怎么处理？

可以把文件加进去，然后 修改刚才的 commit。执行后会进入编辑器，可以修改 commit message，也可以直接保存。这样：不会新增 commit文件会被加入 刚才那个 commit查看：git log

原创 SSL certificate problem: unable to get local issuer certificate

摘要：本文介绍更新Facebook Graph SDK中CA证书的方法。首先从curl官网下载最新的cacert.pem证书文件，将其放入项目certs目录。然后修改FacebookCurlHttpClient.php文件，将第128行左右的证书路径指向新的cacert.pem文件，替换原有的DigiCertHighAssuranceEVRootCA.pem证书。这一操作可解决因证书过期导致的连接问题。

原创 完整的 Dynamic AI Hints 设计

摘要：成熟RAG产品采用三层降级策略处理无数据时的推荐问题生成：1）有数据时用RAG+LLM生成相关问题；2）无数据但有Notebook元信息时，LLM基于标题/描述生成引导性问题；3）完全空白时返回静态引导提示。这种分层设计确保用户始终获得有效引导，核心是将SuggestedQuestions视为用户引导工具而非单纯问题生成。典型案例如ChatGPT和NotionAI，都会根据当前状态动态调整提示策略，实现无缝用户体验。（149字）

原创 初识RAG

RAG（检索增强生成）是一种AI技术，通过先检索相关资料再生成回答。其流程包括：将文档切块转为向量存入数据库，提问时检索最相关的内容片段供LLM生成答案。Embedding将文本转为数字向量实现语义搜索，LLM（如GPT）负责内容生成但不具备检索能力。动态推荐问题采用实时RAG+LLM方式，在用户打开页面时即时生成基于最新语义的建议，而非预存结果。这种动态AI提示（Dynamic AI Hints）确保推荐问题始终反映知识库最新状态，无需预计算或存储。

原创 升级 Redis 6.0.16 到 6.2.19 （ubuntu22.04）

mkdir /etc/redis # 有该目录的话， 跳过。

原创 ubuntu(docker)安装 python3 和 Mecab 并 添加自定义词典

【代码】ubuntu(docker)安装 python3 和 Mecab 并 添加自定义词典。

原创 python 异步执行多个 python 命令

做一个总入口，异步同时爬不同网站评论，或同时出不同月份报表，或爬虫做报表同时做的。2. 有一套用 python 将评论出成 Excel 报表的程序。1. 有N套用 python 爬取客户不同网站上的评论的程序。

原创 python 异步执行测试

本文介绍了使用asyncio库实现并行执行和任务调度的机制。通过asyncio.create_subprocess_exec启动外部命令，每个命令在独立的系统进程中运行，实现真正的并行执行。主程序通过asyncio的事件循环管理子进程的启动和输出处理，实现异步非阻塞调度。任务调度规则通过asyncio.Semaphore(N)控制，最多同时启动N个子进程，动态填补完成的任务。示例代码展示了如何设置并发数为3，并验证了任务调度的行为，确保最多3个任务并行执行，其他任务在子进程完成后立即启动。测试结果直观展示了

原创 MySQL SQL Mode及其说明

MySQL中所有支持的SQL Mode及其说明

原创 记录 Mysql5.7 升级到 Mysql8.0 遇到的问题

本文总结了MySQL数据库使用过程中常见的四种错误及其解决方法。首先，导入存储过程时创建函数报错，可通过修改配置文件或执行SQL语句解决。其次，WEB项目链接DB时出现认证错误，需修改用户认证方式。第三，SQL报GROUP BY错误，可通过修改查询语句、禁用ONLY_FULL_GROUP_BY模式或修改配置文件解决。最后，关于collation_connection的错误，需统一校对规则为utf8mb4_general_ci。文章还详细比较了utf8mb4_general_ci和utf8mb4_0900_a

原创 微信小程序 缓存机制

多个小程序的缓存是隔离的，即使同一用户同一设备；跨小程序数据共享应使用其他方法；更换设备时缓存不共享，需重新获取数据。同时，给出示例代码或方案，帮助他们正确实现功能，避免因缓存隔离导致的问题。

原创 ngrok 申请固定域名 （static domain）

下载 ngrok 安装包，解压并安装。cd 到 ngrok 安装目录下。以管理员身份打开 CMD。点击后，就生成了自己的固定域名。3. 本地配置ngrok。1. 注册ngrok。

原创 .git/hooks/post-merge 文件的作用

.git/hooks/post-merge 文件是 Git 版本控制系统中的一个钩子（hook）脚本，其作用是在合并（merge）操作完成后自动执行一些特定的操作。

原创 微信小程序不翻页问题解决

原因大概是，控件没有指定高度， 加上后OK了。对比了下，该页面与其他页面的差别。小程序，有个页面不翻页。其他页面可以正常翻页。

原创 Mysql “this is incompatible with sql_mode=only_full_group_by” 问题解决

公司项目要进行mysql升级， 从 5.7 升级到 8.0，需要进行影响调查， 找了个测试服务器，装了 mysql8.0.32进行测试，标题错误，我遇见了两次：1. WEB 程序报标题错误2. procedure 报标题错误。

原创 同一个宿主机下， web docker 容器里的程序 访问 mysql 容器里的mysql

web 容器DB config 的host填写 mysql容器的 IPAdress。命令查看 分配给 mysql8.0.32 容器的 IP Adress。然后web程序就不报错了。

原创 javax.net.ssl.SSLHandshakeException: Received fatal alert: protocol_version

接收端的版本是 TLSv1.2的， 所以我需要调整我的为 TLSv1.2的。更改方法: 在上面提到的 【VM Arguments】里追加下面的 配置。2. 打开 【Run Configures】> 【Arguments】捣鼓了半天，终于发现一个简单靠谱的方法来确认双方的 TLS 版本。起效了， 对方的接口调起来了（之前调不起来，报标题的错误）5. 在 Console 里查看自己启用的协议版本。1. 点击 【run】旁边的下拉小箭头。4. 重启 server。

原创 Error response from daemon:

（Docker Hub 的一个域名，用于身份验证和镜像拉取）时，DNS 查询超时了。这通常意味着你的 Docker 客户端无法通过配置的 DNS 服务器（在这个案例中是 ）来解析域名。在 hosts 中加上。

转载 修改 hosts 文件（windows）

在hosts文件的最后一行添加“服务器IP地址[半角空格]域名”。（例）hostsファイルの設定方法（Windows） | マニュアル | サポート | レンタルサーバー CORESERVER（コアサーバー）

原创 Ubuntu 启用或禁用 Apache2 模块

【代码】Ubuntu 启用或禁用 Apache2 模块。

原创 ImageMagick版本确认方法

【代码】ImageMagick版本确认方法。

原创 docker（ubuntu）搭建web环境（php7.1 + mysql5.7 + apache2.4）

选项的使用应该非常谨慎，因为它会给予容器几乎与宿主机相同的权限。在大多数情况下，最好避免使用它，并寻找更安全的方法来配置容器。然后就可以通过浏览器通过宿主机的 50080 端口访问docker内的web画面了。实际上没有太多作用，因为容器是在后台运行的。如果你想要与容器交互，你应该去掉。将下载的安装包导入前面映射的任意一个目录里，这样就直接反应到容器里了。这里导入到 /var/www/demo 这个目录里了。需要注意的是，虽然命令中同时包含了。命令连接到已经在后台运行的容器。选项，但在这个上下文中，

原创 ffmpeg 安装 h264（x264）encoder

综上所述，这个命令是为了在编译FFmpeg时，启用一系列高级特性和依赖项（如共享库、libx264编码器支持等），并指定安装路径和额外的编译/链接选项，以确保FFmpeg能够正确地找到并使用这些依赖项。这个命令是用于配置FFmpeg编译环境的，特别是在安装FFmpeg时，通过。脚本自定义编译选项。

原创 在Linux系统中查找并计数正在运行的ffmpeg进程数量

的作用是查找并计算当前系统中正在运行的ffmpeg进程的数量，同时排除了搜索命令本身的影响。这条命令是一个组合命令，用于在Linux系统中查找并计数正在运行的。进程数量，同时排除了搜索命令本身（即。

原创 ffmpeg loglevel

在执行时向标准输出（通常是终端或命令行界面）打印的信息的详细程度。这个参数对于调试、监控。的执行过程，无论是为了调试目的还是仅仅为了保持输出整洁。的行为或仅仅是为了减少不必要的输出信息非常有用。的方式很简单，你可以在命令行中直接将其作为。，同时仅输出错误信息到控制台。可以帮助你更有效地监控。读取视频并将其编码为。

原创 ‘Accept-Encoding‘: ‘gzip, deflate, br‘ 的 含义

Accept-Encoding是 HTTP 协议中的一个头部字段，其主要作用在于告知服务器客户端能够理解的内容编码方式。这个字段对于网络传输效率的优化非常重要，因为它允许服务器根据客户端的能力来压缩响应数据，从而减少传输的数据量，加快网页加载速度。

原创 关于 python request 的 response 返回 b‘\xa3\xff\xff\x11E .....‘ 类型的数据的解决方案

最近写开发一个爬虫， 程序再过本地好好的，返回的是正常的 html， 但是到了生产环境，不知道为什么返回的是一堆乱码长这样：查了好几天都没有进展， 对其进行各种转码均无效。

原创 解决 python pywintypes.com_error: (-2147221005, ‘无效的类字符串‘, None, None)

这句代码，是调用 'Excel.Application' 的，由于生产环境没有装 Excel，所以报错了， 在生产环境安装了office 之后，这个error 就解决了。， 记录了下用 win32com 库解决打印区域设置问题， 程序在我本地，没有问题， 但是放到生产环境的时候， 出现了标题所示的问题。查了一下，原因是 生产环境没有安装 office。

转载 windows 创建定时任务 (任务计划程序+bat脚本)

参考链接：windows开机自启python服务(任务计划程序+bat脚本)

原创 python 做成Excel并设置打印区域

记录首次用python处理Excel表格的过程

转载 使用 logrotate 切割 nginx 日志

由于 nginx 默认的日志文件 access.log 和 error.log随着使用时间的增长会导致文件大小越来越大，甚至用一些编辑器打开都会直接卡死。想着要是能和程序日志一样能够自动切割、归档该多好。于是在网上搜索一番后，决定采用linux 自带的 logrotate 和 crontab 来实现这个功能。本文操作服务器版本：CentOS Linux release 7.6.1810 (Core)

原创 Sublime Text 3 Tab to 4 spaces

原创 PHP7 用 Exception catch不到error，Throwable 才可以

【代码】PHP7 用 Exception catch不到error，Throwable 才可以。

原创 php 获取上月 月初/月末 的 日期

【代码】php 获取上月 月初/月末 的 日期。

原创 python selenium webdriver 基础使用

【代码】python selenium webdriver 基础使用。

转载 php pcntl_fork mysql server has gone away

php pcntl_fork mysql server has gone away

原创 php 统计文件夹里文件个数

php 统计文件夹里文件个数