自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(1091)
  • 收藏
  • 关注

原创 是不是程序员的调试思维能解决大部分人生问题?

所以说,光有调试思维并不能解决人生的大部分问题,代码调试比人生调试简单的多,除了上面说的认知、满足感、执行力外,人生还充满着随机数,到处是不确定性,调试需要足够的耐心和毅力。其次是容易满足,也会降低调试思维的效用,我们知道程序可以分为好几种,比如能跑的程序、能跑且稳定的程序、能跑且稳定且速度非常快的程序,这就是三流程序员和一流程序员的差异。认知局限很好理解,俗话说你永远赚不到认知之外的钱,人生和程序最大的不同在于,程序的bug有编译器来识别,但人生的bug往往是无形的,需要依靠个人认知水平来识别。

2026-02-04 21:25:54 344

原创 OpenClaw,一只掀桌子的“龙虾”

有的人可能不知道OpenClaw,它一周内改了两次名,一开始叫作ClawBot,因为读音和Claude相似,被anthropic“礼貌的”要求改名,改成MoltBot后,又因为Molt不好听,且被抢注,又改名为现在的OpenClaw。看Github的readme教程,OpenClaw可以部署在OS、Linux、Win WSL2上,由于OS是原生系统,导致Mac mini一度卖断货,国内的阿里、腾讯、百度等云厂商也搞了一键部署OpenClaw,我测试了下,确实不难。这需要人工一步步提示才能做到。

2026-02-04 21:24:42 353

原创 有哪些好用又免费的SQL工具?

Dbeaver是很棒的一款数据库管理开发工具,简单来说用来写SQL的。因为数据库本身只是用来存储管理数据,如果我们想要有更舒服的界面写SQL,必须得安装Dbeaver这样的数据库管理工具。MySQL不用多说,是目前市占率最高的开源数据库,大大小小互联网公司都在用,所以学习性价比最高。上,这是微软office自带的数据库,可以图形化操作,像Excel一样,当然也可以在Access上写SQL代码。打个比方,MySQL、Dbeaver的关系类似于马和鞍,好马配好鞍,SQL才能写的棒。我一开始练习SQL是在。

2026-02-03 22:14:39 45

原创 Markdown是什么,为什么会流行?

markitdown是Python的一个第三方库,它的优势在于非常轻量化,而且api简单,在将其他文档内容转换为markdown格式的同时,还能保留文档格式,比如表格、标题、链接之类。因为它们代表着你和ai交流的最优方式,英语就不多说了,全世界最好的llm训练的语料库八九成是英文的,因为英文的互联网语料数量大、质量高,别的不说,大家都在做的。总而言之,英语、markdown、python很重要,它们就像是ai的骨骼、血液、五官、四肢,但学习它们都不难,甚至是容易的。

2026-02-03 22:13:48 371

原创 学会这7个爬虫软件,三分钟搞定数据采集

它提供了自动网站解锁功能,能够应对动态加载、验证码、IP限制等各种反爬虫机制,而且支持如Puppeteer、Playwright和Selenium等多种爬虫工具,在亮数据内置的无界面浏览器上进行数据的采集,成功率非常高。不管是文本、图片、视频亦或表格,八爪鱼都能抓,而且它还提供了非常丰富的采集模板,比如电商、新闻、短视频等主流平台全包含,它已经帮你配置好了流程,一键可以实现爬虫。它的优势是基于Python生态,灵活性高,支持分布式爬虫和异步请求,而且有多种扩展,能满足复杂采集需求,适合做企业级爬虫部署。

2026-02-02 22:55:26 1207

原创 低代码爬虫利器结合Python Selenium,自动采集商品数据

说实话,现在跨境电商竞争之激烈,获客之难,早已不是搭个台子就能唱戏的阶段,需要各种竞品数据、用户评价数据监测分析,及时掌握哪些产品卖的好,卖的好的产品标题怎么写、用户情感反馈等等,相当的繁琐。这个过程看似简单,但仅是数据采集就难倒一大批人,因为像Amazon、Tiktok、eBay、Shopee等反爬机制非常严格,已经从传统的IP识别升级到​​行为分析​​和​​动态对抗,​​像是浏览器指纹、验证码(CAPTCHA)、动态加密、异步加载等,一般简单的爬虫技术基本不可能抓取到稳定的电商数据。

2026-02-02 22:54:28 1034

原创 pdf如何提取表格?

是专门用来处理PDF的第三方库,完全开源和免费,它最核心的功能是提取PDF的文本和表格,支持保留段落、换行、空格的原始格式,不会像某些库那样把不同区域的文本混在一起,是我体验下来最好用的PDF处理库。虽然在Python上使用pdfplumber提取PDF文本表格并不难,但这仅限于懂Python的同学,如果你不会Python,那也是没办法用pdfplumber操作PDF,只能求助于付费软件。我突发奇想用pdfplumber搭建了个PDF文本表格提取应用,可以实现拖拉拽实现操作,不需要任何的代码。

2026-02-01 21:16:13 446

原创 你用n8n/dify搭建了哪些实用的Agent工作流?

亮数据是专门做数据采集的平台,有抓取器、解锁器、远程浏览器、MCP等工具,可以简化网页请求的复杂度,因为它把反爬处理技术嵌入在接口里,用户只需要提交需求和url就能直接采集到数据。网页抓取器,Dify上有相应的插件接口,它可以对亚马逊等跨境平台进行关键字段采集,并能自动处理平台的反爬限制,比如设置ip代理池、验证码解锁等技术,所以是比较省心的一个爬虫接口。”,并且设置输入变量描述、目标url,选择上一节点的输入变量“product_url”,由于亮数据key在之前已经配置好,这里可以直接用。

2026-02-01 21:15:42 396

原创 你在用哪些 AI Agent(智能体)?

NotebookLM还有个好玩的地方,你可以提问视频的任何时间段内容,它会分层提炼主题,比如“生成3分钟视频的核心摘要,配上时间戳”,它就会把视频按时间片段拆解视频的内容,强到离谱。在NotebookLM的世界里,Youtube视频仿佛是一团面粉,你可以把它做成各种形状、口味的知识糕点,这是对传统视频内容的拆分、整合,图像、文字、声音的边界越来越模糊。不得不感慨,知识获取的方式正在发生着不可逆转的变化,从传统的搜索,变成了高精度定位式的AI问答,前提是你会提问,提问的能力决定着AI的能力。

2026-02-01 21:14:43 355

原创 目前AI编程工具哪个最好用?

不得不感慨,现在AI领域的开源氛围达到了空前的高度,就不说各个开源大模型了,还有好多开源AI编程、协作、分析、智能体工具,基本一个好用的闭源应用出来,立马就会有对应的开源竞品,真的很热闹。Trae是字节开发的一个AI编程工具,我觉得有两个优势,一是中文支持的比较好,包括应用和模型层面,二是solo模式适合从0到1开发应用,对人工介入的依赖更低。Claude Code的好处在于上下文能力强,支持超大的上下文窗口,适合开发复杂的系统,比如大型的软件、web应用等,像。现在最好用的无非是国外的。

2026-02-01 21:12:30 350

原创 Markdown是什么,为什么会流行?

markitdown是Python的一个第三方库,它的优势在于非常轻量化,而且api简单,在将其他文档内容转换为markdown格式的同时,还能保留文档格式,比如表格、标题、链接之类。因为它们代表着你和ai交流的最优方式,英语就不多说了,全世界最好的llm训练的语料库八九成是英文的,因为英文的互联网语料数量大、质量高,别的不说,大家都在做的。总而言之,英语、markdown、python很重要,它们就像是ai的骨骼、血液、五官、四肢,但学习它们都不难,甚至是容易的。

2026-02-01 21:11:37 392

原创 使用Streamlit搭建Excel批处理应用,100个表格秒级拼接

从技术大厂资深程序员到生产车间业务员,每天都在处理大量的Excel表格,可是很少有人真的精通Excel,连vlookup、多表拼接、格式转化这样的批处理任务都很难搞定,只能手工一个个的点击。多个Excel文件批量转为CSV格式,导入多个Excel文件,批量转化后,就会得到内容相同的CSV文件,不同的sheet会单独导出一个CSV文件。Excel批量转为PDF文件,导入多个Excel文件,它会把所有Excel的所有sheet都转为PDF文件,并且每个PDF都会以sheet命名。

2026-01-28 23:59:45 643

原创 Dbeaver可能是最好的免费SQL工具

MySQL不用多说,是目前市占率最高的开源数据库,大大小小互联网公司都在用,所以学习性价比最高。因为数据库本身只是用来存储管理数据,如果我们想要有更舒服的界面写SQL,必须得安装Dbeaver这样的数据库管理工具。我一开始练习SQL是在Access上,这是微软office自带的数据库,可以图形化操作,像Excel一样,当然也可以在Access上写SQL代码。打个比方,MySQL、Dbeaver的关系类似于马和鞍,好马配好鞍,SQL才能写的棒。Dbeaver,安装很简单,一路next。

2026-01-28 23:59:10 298

原创 超实用!轻松控制Python及依赖库版本

版本以及相关依赖库版本进行妥善管理,从而确保项目可以稳定持续的进行维护或迁移。配置文件,对项目的相关依赖版本进行控制,但这些方式都只是辅助性质,并不会在。为了方便演示,我们建立新的虚拟环境,并安装一些常见的库用作举例(这里以。版本、指定依赖库版本的严格检查,从而大幅提升项目维护的稳定性~,我们就可以更严格的限制项目依赖版本,避免很多不必要的问题 ~设定要求时,则会抛出对应的错误信息,譬如我们的示例环境为。当我们希望对指定依赖库的版本做严格检查时,则可以使用。项目时,非常重要的一点,是要对项目本身依赖的。

2026-01-27 23:56:57 252

原创 使用Python爬虫的重要原因和6大常用库推荐

而且亮数据有个很强大的功能:Scraper APIs,你可以理解成一种爬虫接口,它帮你绕开了IP限制、验证码、加密等问题,无需编写任何的反爬机制处理、动态网页处理代码,后续也无需任何维护,就可以“一键”获取Tiktok、Amazon、Linkedin、Github、Instagram等全球各大主流网站数据。爬虫其实就是请求http、解析网页、存储数据的过程,并非高深的技术,但凡是编程语言都能做,连Excel VBA都可以实现爬虫,但Python爬虫的使用频率最高、场景最广。

2026-01-27 23:55:56 1047

原创 selenium采集数据怎么应对反爬机制?

亮数据还有网页解锁功能,即Web Unlocker ,相当于把负责反爬处理机制放到一个接口里,你只需向Web Unlocker发送目标 URL,所有复杂的解锁过程(包括处理反机器人措施、执行 JavaScript、管理 cookie 和会话、轮换 IP 地址)都在后台自动完成,你会收到目标URL的完整 HTML或JSON响应。对于爬虫而言,最难的不是解析网页,而且应对反爬机制,比如动态网页、IP封禁、人机验证等等,这是爬虫工具没法自行解决的。如何使用Selenium抓取网页呢?可以看以下的代码示例。

2026-01-27 23:54:53 293

原创 在Trae上使用Bright Data MCP采集数据

其实网页爬虫也一样,爬虫说到底就是收集数据,和你平时浏览网页没区别,只不过是用脚本批量化的去采集数据,AI大模型的出现让爬虫也开始进化,传统的Python爬虫、软件爬虫在慢慢被AI爬虫取代,比如说我常用的一个数据采集MCP-Bright Data MCP,能通过Trae这样的Agent调用,直接用自然语言就可以采集目标网站的数据,完全不用写代码,甚至你都不用打开目标网站。Trae是近一年比较流行的AI编辑器,字节开发的产品,类似于VsCode,但Trae有更强的AI编程能力,比如搭建智能体、布置MCP等。

2026-01-26 14:11:32 984

原创 低代码爬虫利器,搭建Youtube视频监测平台,有点强~

聊到大模型,他说他现在在做一个舆情监测的多模态大模型,专门对Youtube进行采集训练,作为世界上最大的媒体平台,自然有最丰富、最及时、最真实的用户内容,但是数据采集是个难题,因为现在的自动化爬虫多到令人发指,Youtube的反爬机制异常严格。3、抓取浏览器:这是专门用于网页抓取的远程浏览器, 和普通浏览器类似,可以模拟高级用户交互,比如如点击、滚动、登录),它的优势是能通过单一 API接口提供无限并发会话和工作负载,不管多大数据体量,都能支撑,比本地或者其他服务器更加稳定。

2026-01-26 14:10:53 979

原创 我常用的6种爬虫软件,值得收藏~

既然提到了八爪鱼,就不得不提后羿,两者逻辑很像,都是可视化操作的爬虫工具,它在跨平台(支持 Mac/Windows/Linux)支持上做得不错,且免费功能的开放度在某些版本上比较良心。八爪鱼是无脑式的数据采集器,通过可视化的拖拉拽操作,实现对网页的数据采集,它的核心逻辑是模拟人的操作(点击、输入和滚动),你打开它的内置浏览器,鼠标点哪里,它就记录哪里。做跨境电商或海外数据抓取的朋友都知道,最痛苦的不是抓取,而是被封 IP或者无限验证码,亮数据就是专门用来处理这类场景的,它有几个比较使用的功能。

2026-01-26 14:09:25 1056

原创 不会markdown,你可能没法用好ai

因为它们代表着你和ai交流的最优方式,英语就不多说了,全世界最好的llm训练的语料库八九成是英文的,因为英文的互联网语料数量大、质量高,别的不说,大家都在做的vibe coding,都是拿github、stackoverflow等数据训练的。最后是python,不要总觉得python就是培训班骗钱的,学了也找不到工作,但在ai世界,python就是所有ai构建的基座,pytorch、tf、pp等各种深度学习框架都是python原生工具,没有它们也就没有llm。

2026-01-26 14:08:50 311

原创 你在用哪些 AI Agent(智能体)?

NotebookLM还有个好玩的地方,你可以提问视频的任何时间段内容,它会分层提炼主题,比如“生成3分钟视频的核心摘要,配上时间戳”,它就会把视频按时间片段拆解视频的内容,强到离谱。在NotebookLM的世界里,Youtube视频仿佛是一团面粉,你可以把它做成各种形状、口味的知识糕点,这是对传统视频内容的拆分、整合,图像、文字、声音的边界越来越模糊。不得不感慨,知识获取的方式正在发生着不可逆转的变化,从传统的搜索,变成了高精度定位式的AI问答,前提是你会提问,提问的能力决定着AI的能力。

2026-01-22 15:42:47 341

原创 为什么我不愿意用Anaconda了?

我记得从我开始读本科接触Python开始,就一直被各种博客灌输Anaconda省事、方便的思想,所以每次Anaconda更新我都会第一时间去更新,但近几年我发现网上对Anaconda的意见增多,不少小伙伴开始自己配置Python了,或者改用miniconda。我理解热度消退有3方面原因,首先Anaconda对数据科学很友好,但对于其他Python应用场景并不是最佳选择,更多人会使用原生python+pip+venv,去搭配自己的开发环境。这是Anaconda的优势,也是它的劣势。

2026-01-22 10:24:42 281

原创 SQL和Python 哪个更容易自学?

学习SQL还要接触各种数据库,比如MySQL、Oracle、PostgreSQL等,各种数据库虽然统一支持SQL基础语法,但会有用法上的差异和独特的高阶功能,在学习的时候需要注意。学好SQL后再来学习Python,如果你有其他编程语言的学习经验,其实对于Python语法也不会陌生,主要是数据类型、逻辑语句、函数、类等。所以对于从事数据工作的编程菜鸟来说,SQL是除Excel外需第二精通的工具,因为你可能会接触到各种数据库,还有各种云平台、大数据平台,都需要你通过SQL进行数据提取、规整、清洗等处理。

2026-01-22 10:20:12 222

原创 我把pdfplumber整成了可以拖拉拽的web应用

pdfplumber是专门用来处理PDF的第三方库,完全开源和免费,它最核心的功能是提取PDF的文本和表格,支持保留段落、换行、空格的原始格式,不会像某些库那样把不同区域的文本混在一起,是我体验下来最好用的PDF处理库。虽然在Python上使用pdfplumber提取PDF文本表格并不难,但这仅限于懂Python的同学,如果你不会Python,那也是没办法用pdfplumber操作PDF,只能求助于付费软件。点击表格功能,这个PDF所有的表格都会单独呈现出来,并可以下载Excel文件。

2026-01-22 10:19:36 848

原创 Claude Code、Cursor、Trae、OpenCode怎么选?

Claude Code的好处在于上下文能力强,支持超大的上下文窗口,适合开发复杂的系统,比如大型的软件、web应用等,像Anthropic的Cowork就几乎全部是Claude Code开发的,更神奇的是Claude Code本身有80%的代码是其自己写的。不得不感慨,现在AI领域的开源氛围达到了空前的高度,就不说各个开源大模型了,还有好多开源AI编程、协作、分析、智能体工具,基本一个好用的闭源应用出来,立马就会有对应的开源竞品,真的很热闹。

2026-01-21 11:18:09 524

原创 我常用的一个电商数据采集软件,低代码爬虫

最近DeepSeek大火,对话质量之高一度超过ChatGPT、Claude等主流海外模型。你知道什么决定了大模型训练结果的好坏吗?除了算法外,训练数据的质和量起着决定性作用,而很多AI公司用到的训练数据就是利用爬虫技术从全网抓取的,这也是OpenAI、Anthropic等公司的核心竞争力。

2026-01-19 17:07:18 2327

原创 这几个低代码数据采集爬虫工具,非常强大~

无论是需要简单的数据抓取,还是复杂的数据挖掘和分析,市场上的爬虫工具都能提供相应的解决方案。同时,使用爬虫软件时,也应遵守相应的法律法规,尊重数据的版权和隐私。亮数据是一款强大的数据采集工具,以其全球代理IP网络和强大数据采集技术而闻名。它能够轻松采集各种网页数据,包括产品信息、价格、评论和社交媒体数据等。爬虫,又称为网络爬虫或网页爬虫,是一种自动浏览互联网的程序,它按照一定的算法顺序访问网页,并从中提取有用信息。八爪鱼是一款面向非技术用户的桌面端爬虫软件,以其可视化操作和强大的模板库而受到青睐。

2026-01-19 17:06:18 2704

原创 n8n、dify、coze,它更强?

现在主流的工作流工具有三家,分别是n8n、dify、coze,前两者出生就是开源的,coze是今年刚开源,从Github star数来看,n8n 150K排第一,dify紧随其后117k排第二,coze由于开源时间较晚只有18k。如果有评判标准,那Github的star或许是较为客观的一种方式,咱们就以这个顺序来讲讲这三种工作流的功能和优势。

2026-01-18 17:03:06 601

原创 从PDF中提取Excel,这个工具真的好用

首先,pdfplumber能轻松访问有关PDF对象的所有详细信息,且用于提取文本和表格的方法高级可定制,使用者可根据表格的具体形式来调整参数。这次介绍一个开源python工具库-pdfplumber,可以方便地获取pdf的各种信息,包括文本、表格、图表、尺寸等。目前市场上有很多pdf工具,大部分是阅读类,也有支持对pdf的修改、转换等功能,但这部分工具不少是收费的。一个小小的脚本,不到十行代码,便将pdf表格提取并转化为dataframe格式,最终保存到excel。

2026-01-18 17:02:30 344

原创 为什么你写的Python爬虫脚本老是掉链子?

学Python的人有很大一部分是为了爬虫,对~没错,就是采集网页数据,但哪怕是Python老手写爬虫也很难稳定的采集到数据,老是掉链子。现在大型网站的反爬策略越来越高明了,不仅是对IP访问频率、User-Agent请求头进行异常识别,还会分析IP地址、浏览器指纹、JS动态加载、API逆向、行为模式等方式各种设卡,动不动跳出五花八门的验证码,非常难搞。

2026-01-18 17:01:52 1419

原创 NotebookLM又一个炸裂的技巧

另外,还可以导入不同的Youtube视频,进行对比提问,比如我导入了GPT Codex发布会的视频,问NotebookLM“Claude Code和GPT Codex的异同点和优劣势”,它会将两个视频中的内容进行对比,提炼出对比内容。NotebookLM还有个好玩的地方,你可以提问视频的任何时间段内容,它会分层提炼主题,比如“生成3分钟视频的核心摘要,配上时间戳”,它就会把视频按时间片段拆解视频的内容,强到离谱。说个不恰当的比喻,NotebookLM就是Youtube的知识“榨汁机”。

2026-01-18 16:58:38 262

原创 我常用的一个爬虫利器,自动采集视频数据

如果是搭建平台级采集应用,可以尝试亮数据网页抓取API,也能搭配yt-dlp一起用,它类似封装好的数据采集流水线,能自动处理各种反爬技术,它内置了专门用于Youtube等各大网站的网页抓取API,能直接通过requests访问并获取相应的视频、评论、互动等数据。可以在下面链接使用亮数据的API功能,会赠送资源额度,个人研究够用了。

2026-01-15 18:49:50 827

原创 飞书多维表格真的很强!

没想到飞书表格能顶一个IT团队,我试了下不光能支持多维表格、协同编辑,还可以进行数据库管理、搭建自动化流程、AI智能问答、动态数据看板等,完全可以充当数字化开发工具,这可能是AI与表格搭配最合适的形态。说到飞书多维表格,突然发现好多公司在用它,像影视飓风、元气森林等,他们把业务运营看板、经销商管理系统搭载了多维表格上,我发现完全取代了传统BI的功能。1. 多视图切换:6种视图随心换,表格/看板/甘特图全覆盖,同一份数据怎么看都顺眼~ 不用重复建表,切换即适配场景,视觉清爽不费眼。

2026-01-15 18:48:57 324

原创 聊天就能生成RPA自动化流程,这款工作流软件比n8n更好用?

就在前不久,我参观了一家专门做直播获客卖车的企业,它们有一个流程设计吸引到我,通过直播留资来的意向用户会被自动拉进企微群,群里有专门的客服机器人发送车型信息、咨询,回复购车政策等问题,并定时总结客户信息回传到数据库,7*24小时不停业,这中间完全不需要人来参与,极大的提升了运营效率。现在普遍降本增效的大环境下,RPA绝对是企业和个人自媒体提升运营效率的一大利器,而且随着八爪鱼RPA AI生成功能的出现,任何技术小白都可以运用好RPA,让我想起一句话:不用担心你的工作会被AI取代,但被会用AI的人取代。

2026-01-14 18:21:35 843

原创 为什么建议你用Jupyter?

Jupyter主要是用来做数据科学,其包含数据分析、数据可视化、机器学习、深度学习、机器人等等,任何Python数据科学第三方库都能在Jupyter上得到很好的应用和支持。其实它是集编程、笔记、数据分析、机器学习、可视化、教学演示、交互协作等于一体的超级web应用,而且支持python、R、Julia、Scala等超40种语言。在产品上,Jupyter不仅有简洁的Notebook ,还有工作台式的Lab,甚至线上平台化部署的Hub,对个人、团队、企业都可以完美支持。6、课堂编程相关的内容展示、实验。

2026-01-14 18:21:04 293

原创 pdf如何提取表格?

是专门用来处理PDF的第三方库,完全开源和免费,它最核心的功能是提取PDF的文本和表格,支持保留段落、换行、空格的原始格式,不会像某些库那样把不同区域的文本混在一起,是我体验下来最好用的PDF处理库。虽然在Python上使用pdfplumber提取PDF文本表格并不难,但这仅限于懂Python的同学,如果你不会Python,那也是没办法用pdfplumber操作PDF,只能求助于付费软件。我突发奇想用pdfplumber搭建了个PDF文本表格提取应用,可以实现拖拉拽实现操作,不需要任何的代码。

2026-01-13 23:25:14 952

原创 AnyGen,其实走的不是NotebookLM的路

最后我测试了AnyGen的批量调研功能,它可以根据简单的需求,收集数据形成复杂的调研报告,适合学习研究,类似于Gemini的deep reaserch,不过它交付的文件更多,有PDF、word文档、ppt等。总的来说,AnyGen是字节迈向通用Agent的很重要的一步,其显现出的目的也很明确,不再满足对话大模型的限制,要用AI一键搞定日常办公的各种需求,直接交付结果,不需要人来指挥、确认。我提交了一个笔记本电脑的销售数据集,有产品名称、价格、销量等详细的信息,让AnyGen分析数据,并输出分析报告。

2026-01-13 13:08:04 878

原创 你用n8n/dify搭建了哪些实用的Agent工作流?

亮数据是专门做数据采集的平台,有抓取器、解锁器、远程浏览器、MCP等工具,可以简化网页请求的复杂度,因为它把反爬处理技术嵌入在接口里,用户只需要提交需求和url就能直接采集到数据。网页抓取器,Dify上有相应的插件接口,它可以对亚马逊等跨境平台进行关键字段采集,并能自动处理平台的反爬限制,比如设置ip代理池、验证码解锁等技术,所以是比较省心的一个爬虫接口。”,并且设置输入变量描述、目标url,选择上一节点的输入变量“product_url”,由于亮数据key在之前已经配置好,这里可以直接用。

2026-01-12 13:52:45 873

原创 有哪些好用又免费的SQL工具?

Dbeaver是很棒的一款数据库管理开发工具,简单来说用来写SQL的。因为数据库本身只是用来存储管理数据,如果我们想要有更舒服的界面写SQL,必须得安装Dbeaver这样的数据库管理工具。MySQL不用多说,是目前市占率最高的开源数据库,大大小小互联网公司都在用,所以学习性价比最高。上,这是微软office自带的数据库,可以图形化操作,像Excel一样,当然也可以在Access上写SQL代码。打个比方,MySQL、Dbeaver的关系类似于马和鞍,好马配好鞍,SQL才能写的棒。我一开始练习SQL是在。

2026-01-12 13:51:54 406

原创 数据采集必备的5个低代码爬虫软件

无论是需要简单的数据抓取,还是复杂的数据挖掘和分析,市场上的爬虫工具都能提供相应的解决方案。同时,使用爬虫软件时,也应遵守相应的法律法规,尊重数据的版权和隐私。亮数据是一款强大的数据采集工具,以其全球代理IP网络和强大数据采集技术而闻名。它能够轻松采集各种网页数据,包括产品信息、价格、评论和社交媒体数据等。爬虫,又称为网络爬虫或网页爬虫,是一种自动浏览互联网的程序,它按照一定的算法顺序访问网页,并从中提取有用信息。八爪鱼是一款面向非技术用户的桌面端爬虫软件,以其可视化操作和强大的模板库而受到青睐。

2026-01-12 13:51:11 2959

100个Github Python项目

整理了100个在Github上热门的Python项目,包含数据科学、web应用、游戏、可视化、机器学习、自动化等等

2024-04-22

16个matplotlib绘图技巧

包含了Python Matplotlib库可视化绘图的各种技巧,如标题、文本、注释、坐标轴、图例、颜色等等

2024-04-22

60个Numpy函数和方法解析

Python第三方库Numpy的函数和方法解析

2024-04-22

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除