辣鸡采集，采集世界上所有辣鸡数据欢迎大家来采集

最新推荐文章于 2024-07-05 16:12:43 发布

最新推荐文章于 2024-07-05 16:12:43 发布

阅读量255

点赞数

分类专栏：采集文章标签： git 机器学习 golang 爬虫后端

本文链接：https://blog.csdn.net/qq_34045608/article/details/112394452

版权

3 篇文章 0 订阅

订阅专栏

辣鸡采集 laji-collect

辣鸡采集，采集世界上所有辣鸡数据欢迎大家来采集

golang

市面上有几种采集工具，大多都需要针对不同的网站定制不同的采集规则，才能最终采集到想要的结果。本采集器内置了常用的采集规则，只要添加文章列表连接，就能将内容采集回来。
本采集器采用多线程并行采集，可在同一时间采集更多的内容。
本采集器只专注于采集文章这一件事，不用来定制采集其他内容，只专心做一件事。

本采集器可以采集到的的内容有：文章标题、文章关键词、文章描述、文章详情内容、文章作者、文章发布时间、文章浏览量。

当我们需要给网站采集文章的时候，本采集器就可以派上用场了，本采集器不需要有人值守，24小时不间断运行，每隔10分钟就会自动遍历一遍采集列表，抓取包含有文章的连接，随时将文字抓取回来，还可以设置自动发布，自动发布到指定文章表中。

本采集器可用运行在 Windows系统、Mac 系统、Linux系统（Centos、Ubuntu等），可用下载编译好的程序直接执行，也可以下载源码自己编译。

本采集器暂时还不支持伪原创功能，后期会增加适当的伪原创选项。

下载可执行文件
请从Releases 中根据你的操作系统下载最新版的可执行文件，解压后，然后双击运行可执行文件，在打开的浏览器中的可视化界面，填写数据库信息，完成初始化配置，添加采集源，即可开始采集之旅。
如果你是在服务器端运行，或者程序没有自动打开浏览器，请按命令界面提示，在浏览器输入访问地址，默认的访问地址是 https://127.0.0.1:8088
自助编译
先clone代码到本地，本地安装go运行环境，在collector目录下打开cmd/Terminal命令行窗口，执行命。如果你没配置代理的话，还需要新设置go的代理

go env -w GOPROXY=https://goproxy.cn,direct

最后执行下面命令

go mod tidy
go mod vendor
go run main.go

编译结束后，运行编译出来的文件，然后双击运行可执行文件，在打开的浏览器中的可视化界面，填写数据库信息，完成初始化配置，添加采集源，即可开始采集之旅。

欢迎有能力有贡献精神的个人或团体参与到本采集器的开发完善工作中来，共同完善采集功能。请fork一个分支，然后在上面修改，修改完了提交pull request合并请求。

Released under the MIT License

关注