- 博客(723)
- 收藏
- 关注
RSS订阅
原创 从 TTFB 到 Failover：高并发场景下隧道代理的工程化选型指南
代理 IP 不是标品，其本质是「可稳定持续采集的工程能力」。本文先建立代理分类学与选型评估模型，再以统一测试环境对。
2026-08-24 16:56:27
978
2
原创 Python实现办公自动化的数据可视化与报表生成
幸运的是，Python提供了强大的工具和库，可以帮助我们实现办公自动化，从而提高工作效率和准确性。通过使用Python进行数据可视化和报表生成，我们可以实现办公自动化，提高工作效率和准确性。Matplotlib和Seaborn可以帮助我们深入展示数据特征和趋势，Pandas和Openpyxl可以帮助我们处理和生成表格的报表。在Python中实现办公自动化的数据可视化与报表生成时，我们可以使用一些常见的库和工具通过代理IP进行网页访问获取数据，可以使用requests库结合代理信息进行配置。
2026-04-23 16:45:33
40566
4
原创 爬了 10 万条评论却不敢用？这套 Python 数据治理方案让 NLP 情感分析靠谱 10 倍
很多工程师把爬虫的终点停在，以为拿到了 JSON 就大功告成。但在真实业务里，爬下来的数据只是一堆原始矿石——字符编码混乱、字段缺失、重复冗余、夹杂广告与表情包、时间格式七国八制。距离"可分析、可决策"还差着一整套**数据治理（Data Governance）**工程。本文不谈虚无的方法论，而是以"电商评论分析"为主线，基于DAMA-DMBOK 数据质量六维模型采集层(httpx + 代理IP池) → 解析层(parsel)
2026-09-23 16:56:18
495
原创 用 Python 给大模型跑分：dataclass、异步重试和代理配置一个不少
看到这个标题我先笑了一下。鬼故事这三个字用得诚实，因为它确实就是个鬼故事。DeepSeek 4.1、Opus 5、GPT 5.6，这几个版本号我一个都核实不了。真要按照发布节奏，它们大概率还没出，或者出了但我不知道。拿一个没法验证的对比当结论抛出来，和村口大爷说隔壁老王中彩票了是一个性质：传得热闹，查无此事。但这事值得认真写一写，不是因为谁输谁赢，而是因为太多人真的会信这种标题，然后拿它当选型依据。我干爬虫和数据采集这些年，最怕的就是用别人喂的结论代替自己跑的数据。
2026-09-22 16:57:28
311
原创 如何用 Python 一键抓取整个网站的 PDF 文件并保存到本地？
传输层：用Session复用连接池、以Retry处理限流与抖动，而非每次新建连接、手写重试；内存模型：以流式落盘，大文件下内存恒定；健壮性校验防错存、并发提速、异常隔离保证单点失败不拖垮全局；可持续性robots.txt合规基线 + 速率抖动 + 亿牛云代理分散出口 + 幂等续传，让采集器能长期、稳定、合法地运行。整套方案从一行起步，最终形成一个可投产的采集模块。若你的目标站点是JavaScript 动态渲染（PDF 链接由前端生成），下一步可引入Playwright。
2026-09-21 16:55:30
305
原创 AI Agent ≠ 调 API：4 大支柱 + 1 张对比表，看懂智能体真正的门槛
LLM API是"能力单元"：你问它答，单次、无状态、不能动手。AI Agent是"能力编排系统"：在 LLM 之上加规划、工具、记忆和自主循环，能自己把目标拆成步骤并落地。二者不是替代关系，而是层级关系——Agent 底层还是靠 API 驱动。简单任务用 API，复杂多步任务才上 Agent。而一旦 Agent 承担联网采集，选对代理 IP（如亿牛云代理）直接决定数据回收率与项目成败——它是 Agent 跑得稳不稳的隐形地基。
2026-09-20 16:56:17
479
原创 Python 项目实战：用 Flask 构建生产级 MySQL 增删改查 REST API
一套结构清晰、安全可控、可扩展的 Flask + MySQL CRUD API：ORM 防注入、Marshmallow 边界校验、连接池与统一错误处理保稳定、分层 + 类型注解保可维护、亿牛云代理打通「采集 → 入库」链路、迁移 + 测试 + 部署补齐工程闭环。后续可演进：JWT 鉴权、游标分页、读写分离、Prometheus 监控，或迁移 FastAPI 获得原生异步与自动文档。
2026-09-17 16:52:11
363
原创 Python 小工具实战：用问财接口搭建金融数据采集器
前言构建金融数据采集链路时，团队常常在两条路之间反复横跳：要么基于 Tushare / akshare 等开源数据源自行拼接指标，开发成本高且覆盖维度受限；要么采购商业数据终端，预算压力显著。事实上，同花顺旗下的提供了一个被低估的结构化入口——它将自然语言问题翻译为内部查询计划，并返回标准化的多维数据。对工程侧而言，这相当于一个"托管的金融查询引擎"。本文的目标是：用 Python 将这一能力封装为的本地采集工具。我们先在基础版跑通请求链路，再在升级版补齐代理分散、失败重试与并发控制等工程要素。
2026-09-16 16:57:11
371
原创 iPhone Duo 适配详解：基于 Python 工具链的双屏 _ 折叠设备适配工程
物理形态逻辑视口构成适配要点折叠态（单屏）单一矩形视口（≈ 390–430 CSS px）退化为常规移动端，断点策略不变半开态（笔记本 / 帐篷）主屏 + 副屏，非对称、存在夹角输入区与内容区物理分离，需管理焦点与可见性跨屏展开态（spanning）两个并排逻辑段 + 中间铰链（hinge）死区内容不可跨越铰链死区，须按 segment 排布宽屏（如 iPad）仍是一个连续视口，而双屏设备的「展开态」是两个被铰链割裂的段。把双屏当成「更宽的单屏」去写。
2026-09-15 16:53:53
301
原创 让 Claude Code 帮你写爬虫：2026 年的 _Agent 原生_ 数据采集
2026 年采集竞争的赢家，不是「手速最快的爬虫工」，而是最擅长编排 Agent 与基础设施的架构者。把编写、运行、调试交给编码 Agent，把出口稳定性交给成熟的隧道代理，把工程师的注意力留给真正的数据价值——这才是 Agent 原生的本意：不是用 AI 替代人，而是把人从重复劳动中释放为决策者。
2026-09-14 16:51:22
279
原创 AI的提示词专栏：Prompt 与 Python Pandas 的结合使用指南
等级特征典型做法L1 探索人工写 Prompt，人工跑 Pandas临时性、一次性分析L2 标准化Prompt 模板化，代码生成 + 自动校验团队内可复用、可测试L3 流水线采集→清洗→计算→解读 全自动，含治理与监控生产级、可观测、可审计Prompt 与 Pandas 的结合，本质是把**“会算”（Pandas 的确定性）与Layer 1：用 Prompt 指挥 AI 生成可验证的 Pandas 代码，降低编码门槛；Layer 2。
2026-09-11 16:48:22
665
1
原创 Codex 里的 GPT 6 Astra、GPT 5.6 Sol、Terra、Luna 怎么选
选型不是一个拍脑袋的动作，而是一组可度量的约束。配置收进 dataclass，选型抽成带成本和能力约束的独立函数，跑批效果用 Metrics 回收，代理走亿牛云隧道解决国内访问，整套基本能自治。先把最小可用版本跑通，再拿真实的 p95 和成本往细里调，比一上来追求完美方案实在。Codex 把模型摆在你面前，怎么用省、怎么用稳，才是真功夫。
2026-09-10 16:49:26
543
原创 很多人认为本地部署一个大模型，就实现 token 自由，就可以干活了，真的吗？
其提供的隧道代理 / 动态短效代理支持出口 IP 按需轮换、多并发与高可用，能在不改动业务代码的前提下有效规避反爬封锁与 IP 信誉衰减，将"联网抓取工具"从摆设变为可依赖的生产能力。涉及"今天"“刚刚”"最新"等时间敏感问题，模型只能在概率分布上编造，因为它缺乏实时 Grounding（事实锚定）。上通常弱于前沿大模型，且上下文窗口有限。先明确一点：本地部署在成本结构上的优势是真实的，但它省的是"推理调用费"，而非"全部成本"。将这四块能力补齐，本地模型才真正从"聊天玩具"升级为"生产力组件"。
2026-09-09 16:53:18
206
原创 十个互联网医院平台横向对比是怎么做的：指标、采样频次与代码骨架
家里老人去年开始频繁跑医院复查，我在外地帮不上忙，能指望的就是在线问诊。研究一圈下来发现一个尴尬的事实：广告都打得响，能横向对比的数据没人给。每家都说自己医生多、响应快、有三甲背景，"多"是多少，"快"是多快，全凭一张宣传稿。既然没人给数据，我就自己动手。评估框架分三步：先核查资质，再固定指标和采样频次，最后用脚本把各平台公开的服务信息拉下来结构化对比，跑一段时间看差异。这篇文章先把名单和筛选标准讲清楚，再把脚本骨架拆开，代码可以直接改成自己的版本。
2026-09-08 16:52:23
309
原创 面试官问我：_AI 写代码比你快 100 倍，你会 Python 的价值在哪？
先把面试官的命题拆开。他说"AI 写代码快 100 倍"，这个陈述本身是真的——但"快"度量的是"从意图到代码的时延"，而不是"从意图到正确系统的可靠性"。从工程视角看，LLM 的代码生成本质是条件概率下的模式补全（pattern completion under conditional probability）：它在训练分布内、高频出现过的代码模式上表现极佳，例如 CRUD、正则、配置样板、单函数体补全。这类工作的共同特征是——输入确定性高、上下文自包含、对错可即时验证。这段代码在。
2026-09-07 16:53:13
320
原创 别再裸 SQL 连金仓了：用 Python + FastAPI 给 KingbaseES 搭一套可上线的 API
金仓数据库（KingbaseES，下文简称 KES）是电科金仓推出的企业级关系型数据库，在政务、金融、能源、交通等关键行业落地极广，也是当前"信创"（信息技术应用创新）国产化替代浪潮中的主流选型之一。它最讨开发者喜欢的一点是对 PostgreSQL 通信协议的高度兼容——这意味着 PostgreSQL 生态里那套成熟的 Python 工具链（驱动、ORM、连接池）几乎可以"免适配"地平移过来，迁移成本极低。本文的目标很明确：用一套工程化、可上线。
2026-09-04 16:58:11
572
原创 超简单：用 Python 让 Excel 飞起来：用 openpyxl 把重复报表整理交给脚本
读表三参数中的data_onlyread_onlymin_row，决定了读取的正确性与性能；职责拆分：收集、统计、输出各自成函数，脚本才具备可维护、可交接的工程属性；产出必验：小样本、总量、行数三重对照缺一不可，宁可慢一步，不可错一分。但比结论更重要的，是模板意识。第一次编写合并报表脚本或许需要一小时；可一旦将其沉淀为带完整注释与类型标注的模板文件，下个月、下季度乃至换一批数据源时，往往只需改动数行配置即可复用。自动化的价值不在于第一次运行，而在于此后每一次运行所累积的时间复利。
2026-09-03 16:48:52
584
原创 华为小米荣耀集体调价，我用 Python 写了套可长期运行的手机比价监控
很多人先写请求再想存什么，抓回来一堆字段再筛。我反过来，先用 dataclass 把一条价格记录的形状定死，后续落库、写文件、画图都顺着这个结构，不用来回改。@dataclassmodel: strsku: strcaptured_at: datetime # 带时区的感知时间currency 和 sku 是我后来补上的。不同平台价格单位不统一，加上 sku 才能精确定位到具体商品，而不是只靠型号名去猜。captured_at 用 zoneinfo 带时区，机器时区一变数据就乱，这个坑我踩过。
2026-09-02 16:49:35
336
原创 API 调用错误处理实战：分层定位、有纪律地重试与可观测性设计
先分类——区分瞬态错误与持久性错误，这是所有处置决策的前提；再分层——将错误归因到 DNS、传输、HTTP、业务四个故障域之一，避免混合排查；重试有纪律——仅对瞬态错误执行全抖动指数退避，遵循，写操作须先确认幂等性；持续失败换故障域——IP 维度的风控应通过代理池分流解决，而非加重试硬扛；留证完备——结构化日志与 correlation_id 是一切复盘与协作的基础。API 报错本身并不可怕，可怕的是每次都从零开始归因。
2026-09-01 16:48:05
268
原创 从会说到会干：豆包工作 Agent 正式发布，这次是真的夯
自己维护 IP 池听起来很极客，实际上是个无底洞：找货源、写探活、做故障转移、处理 IP 污染、应对目标站策略变化……这些活儿跟你的核心业务毫无关系，且需要持续投入。隧道代理的思路是把复杂度收进云端采集端 → 固定入口地址（tun.16yun.cn:8000）→ 云端智能调度 → 动态出口 IP 池 → 目标站↑ ↑客户端只配一个地址 毫秒级切换，客户端无感代码侧接入就是一个代理 URL，业务逻辑一行不用改。豆包工作这次发布，真正的信号不是"又多了个 AI 产品"，而是。
2026-08-31 16:45:43
345
原创 为什么 Agent 公司最后拼的是 Harness？
Agent 赛道走到现在，共识逐渐清晰：模型的智力会随基础模型迭代水涨船高，这个红利所有人都能吃到。Harness 的工程质量是另一回事，它需要踩坑、需要在半夜起来救火、需要一行一行地补防御性代码，而且换不来发布会的掌声。用户不关心你接的什么模型，用户关心的是任务有没有完成、失败了能不能自动恢复、数据准不准确、下个月账单上的推理成本是不是可控。这几件事，全部由 Harness 决定。所以回到标题的问题。为什么 Agent 公司最后拼的是 Harness？因为模型是买来的，大家的智力起点一样；
2026-08-28 16:49:03
345
原创 把 DeepSeek Harness 当全栈搭子：从代码生成到代理 IP 的数据采集工程实践
模型负责「想」和「写」，而 Harness（驾驭装置）负责把模型的能力真正接进现实世界——文件系统、终端、浏览器、外部 API、工具链。DeepSeek Harness 和 Codex / Claude Code 最大的不同，在于「一切皆插件」——模型、工具、技能、会话、沙箱、甚至 Agent 主循环本身都是插件，不爽就拔了换，不用改框架源码。当你把它从「炫技工具」切换到「生产搭子」——比如搭一套带代理、能稳定采集、有接口有测试的数据后端——才会发现「一切皆插件」这套架构的延展性有多强。
2026-08-27 17:08:13
269
原创 把 DeepSeek Harness 当全栈搭子：从代码生成到代理 IP 的数据采集工程实践
模型负责「想」和「写」，而 Harness（驾驭装置）负责把模型的能力真正接进现实世界——文件系统、终端、浏览器、外部 API、工具链。DeepSeek Harness 和 Codex / Claude Code 最大的不同，在于「一切皆插件」——模型、工具、技能、会话、沙箱、甚至 Agent 主循环本身都是插件，不爽就拔了换，不用改框架源码。当你把它从「炫技工具」切换到「生产搭子」——比如搭一套带代理、能稳定采集、有接口有测试的数据后端——才会发现「一切皆插件」这套架构的延展性有多强。
2026-08-27 16:52:11
738
原创 AI Agent 技术全景：从核心原理到工程落地，开发者必须掌握的关键要点
目标：摄入批量 PDF / 网页，生成结构化摘要并支持溯源追问。工具链：文档解析 + 向量检索（RAG）+ LLM 生成 + citation。价值：分钟级读完上百页资料，适用于研报、合同、论文场景。
2026-08-26 16:48:31
230
原创 OpenClaw 入门指南：核心原理、工程化接入与避坑实践
OpenClaw 是能力出色的对话框架，但请始终记住它是统计模型：善用、校验、不盲信。新手可沿"原理理解 → 快速上手 → 风险规避 → 工程实战"的路径推进，并将代理层作为可靠性设计的一部分纳入架构，而非事后补救。
2026-08-25 16:46:35
330
原创 《牛来》爆红背后：我用 Python 爬虫扒出了它的数据真相
回看整件事：《牛来》从首日 342 元到热搜 7352 元、排片 168 场，是一次典型的"互联网情绪发酵"。作为爬虫工程师，我们不必卷入情绪，而是可以用数据把这场发酵拆成可观察、可量化的信号。
2026-08-21 16:46:30
897
原创 子进程不退出？Python 多进程僵尸进程与资源泄漏的工程化排查
一、从一次线上事故说起：先厘清两个被混用的概念那天要跑一批网页抓取，几万条，单线程要两三个小时，我顺手用开了 8 个进程并行。本地抽样 200 条没问题，上线后主进程很快打印"完成"，可top里仍有进程滞留：部分是Z（zombie），部分是D（不可中断睡眠），内存从 1.2G 悄悄爬到 3.5G，文件句柄数逼近ulimit -n。很多人把"僵尸进程"和"资源泄漏"当成一回事，其实它们是exit()waitpid()DS排查第一步，先用pspstree。
2026-08-20 16:47:40
553
原创 CuPy vs Numba vs PyTorch：GPU 加速方案怎么选
引言：数据进得来，才算得动大规模数据采集常被目标站点限流、封 IP、验证码拦截。企业级代理 IP 服务如可让采集在分布式节点间平滑切换出口，保障数据稳定入库。数据进来后，瓶颈转向算力——下面用代码直接对比 CuPy、Numba、PyTorch 三种上 GPU 的方式。
2026-08-19 16:50:15
373
原创 DuckDB 横空出世，Pandas 的「本地分析王座」要交出去了？
关键词：Pandas、DuckDB、列式存储、OLAP、PyArrow、Parquet、代理采集环境：Python 3.10+，文中代码均可直接复制运行（路径按本地环境替换即可）。
2026-08-18 16:44:01
460
原创 用Python抓美团景区评论数据，长隆水上乐园那次踩了不少坑
做景区运营分析的人，手头最缺的往往是真实的游客反馈。官方介绍写得再漂亮，也抵不过一条"周末排队两小时玩五分钟"的评论。我前阵子接了个活，要整理广州长隆水上乐园的游客评价，看看大家到底在吐槽什么、又在夸什么。数据源选了美团，理由是它的评论量大、带评分、还有游玩时间和同行人数这类结构化字段，比纯文本好处理。这篇文章把整个抓取过程拆开讲，包含接口分析、代理配置、代码实现和踩过的坑，代码都能直接跑。
2026-08-17 16:49:37
334
原创 长周期爬虫的数据一致性：断点续爬 + 事务回滚保障采集质量
一、重新定义问题：爬虫是一类有状态的流处理任务长周期爬虫（任务跨度数天、采集千万级页面）在工程上不应被当成"脚本"，而应被建模为一条：待爬 URL 是输入流，落库记录是副作用（side effect），采集进度是消费位点（offset）。一旦这样抽象，文章标题背后的真问题就浮现了——在「消费输入」与「产生副作用」两个动作之间，如何让进度推进与数据写入保持原子？这正是 Kafka 消费者 exactly-once 语义的经典难题：若先提交 offset 再写库，崩溃会漏采；
2026-08-14 16:48:33
296
原创 把热榜存下来：用 SQLAlchemy + PostgreSQL 设计 A股_美股_基金榜单数据模型
维度选择理由ORM类型注解友好（Mapped），生态成熟，迁移工具 Alembic 开箱即用数据库原生 JSONB 兜底半结构化字段、丰富索引（BRIN 适合时序）、CTE 写分析查询很顺手驱动psycopg(psycopg3)SQLAlchemy 2.0 官方推荐，异步支持好重试tenacity为代理请求叠加指数退避重试，提升采集健壮性为什么不用 MySQL？榜单附带大量行情快照字段（价格、涨跌幅、成交额），后续还会追加不固定的扩展字段，PostgreSQL 的JSONB。
2026-08-13 16:48:59
539
原创 用 Python 批量生成销售日报，告别每天复制粘贴
销售日报需要汇总各渠道的订单数、销售额和客单价。渠道超过十个以后，手工把数据从各平台抄进同一张 Excel 就成了明显负担：耗时、易错、且无法追溯数据来源。以 11 个渠道、日均 42 分钟手工汇总估算，每月仅此一项就占用约 15 个小时。本文用一个可落地的 Python 脚本，把这份日报改成每天定时自动生成。流程拆成取数、归一化、算指标、写 Excel、调度五步，代码可直接复用，数据源与代理配置集中管理，渠道字段变动时只改对应函数。
2026-08-12 16:49:31
358
原创 我把 12 个 Scrapy 爬虫项目迁到 Crawlo，踩了这些坑
团队技术栈已全面转向 asyncio需要 Playwright 做动态页面渲染（Crawlo 原生支持，Scrapy 要装 scrapy-playwright 插件）对分布式调度有自定义需求新项目为主，历史包袱小Scrapy 项目运行稳定、性能满足需求 → 没必要折腾大量依赖 Scrapy 生态插件（scrapy-splash、scrapy-crawl-once 等）→ Crawlo 生态还不够丰富团队对 asyncio 不熟悉 → 学习成本不低。
2026-08-11 16:53:55
903
原创 B 站 UP 主动态爬取全流程：从首页到翻页的完整链路
一、问题的本质如果你动手写过 B 站爬虫，大概率撞上过这一幕：第一页的动态数据顺利到手，翻到第二页接口马上甩回或干脆。换 User-Agent、加time.sleep、甚至手动从浏览器抠 Cookie——统统不管用。根源在于 B 站引入的。所有含分页参数的 Web API（动态流、视频评论、空间历史等）都强制要求附带一个动态计算出的w_rid，该签名的生成逻辑藏在前端首页index.js中一段经过混淆处理的 JavaScript 里。。
2026-08-10 16:50:00
368
原创 Python 爬虫实战：抓取汽车之家二手车成交价格与里程数据
本文介绍了如何抓取汽车之家二手车平台的成交数据，用于残值率分析、定价模型和区域行情监控。重点包括： 数据价值：二手车作为非标品，成交价格和行驶里程是关键指标，结合车型、城市、上牌时间可构建价格-里程曲线，为买卖决策提供参考。 技术方法： 通过监听JSON接口而非解析HTML提高稳定性 使用云代理IP(如亿牛云)应对反爬机制 数据清洗将原始JSON转为规整DataFrame 应用场景： 建立动态行情表追踪价格变化 进行价格-里程相关性分析 为二手车交易提供定价基准 该方法相比传统估值工具更贴近市场实际，通过持
2026-08-06 16:45:45
453
原创 基于Python的抖音网页版视频点赞数增长趋势追踪系统设计与实现
一、问题背景短视频运营中存在一个普遍盲区：创作者只能通过抖音后台查看当前时刻的累计指标，无法获取指标的时序演化过程。然而，抖音推荐系统采用多级流量池递进机制——视频发布后先进入初始流量池（约200-500次曝光），系统根据该阶段的完播率、互动率决定是否推入下一级流量池。
2026-08-05 16:50:56
234
原创 新Tab 精准加载 + 接口实时监听：Python 智联招聘爬虫的两种武器
现代招聘平台普遍采用前后端分离架构，职位数据经由 XHR 异步下发，且核心字段分散于列表接口与详情接口。以requests直采静态 HTML 仅能获取渲染骨架，难以保证薪资区间、HR 活跃状态等字段的。本文基于 Playwright 构建采集流水线，以「接口实时监听」完成字段初采，以「新 Tab 精准加载」完成详情补全，并引入亿牛云（16yun）代理 IP 分散出口，形成一套可复用、抗风控的职位采集方案。
2026-07-30 16:47:56
675
原创 散户情绪不是玄学：Python 爬东方财富股吧并量化的方法
很多人一听到「散户情绪」就觉得是玄学，仿佛只有盘面高手靠直觉才能感知。其实东方财富股吧里每天几百万条发帖，就是最原始的散户情绪池子。帖子里有人喊「满仓干」，有人骂「这票废了」，有人发长长的复盘贴。把这些内容按条数抓下来，再用一套简单的规则给每条打分，散户情绪就能从感觉变成数字。举个真实的例子。某只票当天跌停，股吧前排热帖大概率是一堆「割肉了」「被套牢」的抱怨，这时候平均情绪分掉到负 0.6 以下很正常；过两天出个利好公告，热帖画风一转，满屏「加仓」「看好反转」，分数又能弹回正区间。
2026-07-29 16:50:36
413
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人