laravel queryList万能采集器
这套根据 kongqi laravel admin2.0 layui 框架做的插件,用于采集内容,以上采集器仅供学习和研究。
特色
jquery选择器写法
编写了处理自定义函数
队列采集
在线采集
采集多线程
在线/队列入其他数据库
技术解析
使用 laravel 框架,框架的独有魅力,可以使用队列,可以使用redis等。
QueryList 包,采集规则简单,会使用jquery就会用。
Kongqi laravel admin 插件包,方便插拔使用,不影响主体的模块,互不干扰。
安装使用
1.安装kongqi laravel admin2.0 layui,详细安装请查阅 文档
下载解压之后,将plugin复制到根目录下。
修改扩展包composer.json
"require": {
..........
"jaeger/querylist": "^4.1",
"jaeger/querylist-absolute-url": "^4.0",
"jaeger/querylist-curl-multi": "^4.0",
"league/html-to-markdown": "^4.10"
},
更新下包,完成后台安装即可。
composer update
5.队列监听脚本