SecCrawler 安全日报推送程序

目录 

0x01 简介

0x02 下载地址

0x03 使用方法

0x04 效果

0x01 简介

secCawler程序是Le0nsec师傅开发的一个方便安全研究人员获取每日安全日报的爬虫和推送程序，目前爬取范围包括先知社区、安全客、Seebug Paper、跳跳糖、奇安信攻防社区、棱角社区等。

0x02 下载地址

https://github.com/Le0nsec/SecCrawler

或者直接通过网盘获取

链接：https://pan.baidu.com/s/1RP9yvbybxTjRUul5tCG-LQ 提取码：9mon

0x03 使用方法

下载后解压文件，第一次使用时请使用-init参数在当前文件夹生成默认配置文件，在配置文件中设置爬取的网站和推送机器人相关配置

./SecCrawler -init

相关参数使用方法​​​​​​​

使用-h/-help查看详细命令：使用-c指定使用的配置文件，或者配合-init生成指定文件名的配置文件使用-test参数执行一次程序后退出API文档：https://www.apifox.cn/apidoc/shared-b613c4fc-56a6-4724-831f-4c1ac5547ab5注意请求API需要带上Authorization头

编辑配置文件​​​​​​​

# 设置Selenium使用的ChromeDriver路径，支持相对路径或绝对路径（如果不爬取先知社区可以不用设置）ChromeDriver: ./chromedriver/linux64
Proxy:  ProxyUrl: http://127.0.0.1:7890  CrawlerProxyEnabled: false # 开启爬虫代理  BotProxyEnabled: false # 开启请求机器人代理
Cron:  enabled: false  time: 11 # 设置定时任务每天整点爬取推送时间，范围 0 ~ 23（整数）
Api:  enabled: false  debug: false  host: 127.0.0.1  port: 8080  auth: auth_key_here # 请求api需要带上Authorization头
Crawler:  # 棱角社区  # https://forum.ywhack.com/forum-59-1.html  EdgeForum:    enabled: false  # 先知安全技术社区  # https://xz.aliyun.com/  XianZhi:    enabled: false  # SeebugPaper（知道创宇404实验室）  # https://paper.seebug.org/  SeebugPaper:    enabled: false  # 安全客  # https://www.anquanke.com/  Anquanke:    enabled: false  # 跳跳糖  # http://tttang.com/  Tttang:    enabled: false  # 奇安信攻防社区  # https://forum.butian.net/community/all/newest  QiAnXin:    enabled: false  # 洞见微信聚合  # http://wechat.doonsec.com/  DongJian:    enabled: false
Bot:  # 企业微信群机器人  # https://work.weixin.qq.com/api/doc/90000/90136/91770  WecomBot:    enabled: false    key: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx    timeout: 2  # 飞书群机器人  # https://open.feishu.cn/document/ukTMukTMukTM/ucTM5YjL3ETO24yNxkjN  FeishuBot:    enabled: false    key: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx    timeout: 2  # 钉钉群机器人  # https://open.dingtalk.com/document/robots/custom-robot-access  DingBot:    enabled: false    token: xxxxxxxxxxxxxxxxxxxx    timeout: 2  # HexQBot  # https://github.com/Am473ur/HexQBot  HexQBot:    enabled: false    api: http://xxxxxx.com/send    qqgroup: 0    key: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx    timeout: 2  # Server酱  # https://sct.ftqq.com/  ServerChan:    enabled: false    sendkey: xxxxxxxxxxxxxxxxxxxx    timeout: 2  # WgpSecBot  # https://bot.wgpsec.org/  WgpSecBot:    enabled: false    key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx    timeout: 2

编辑完成后保存退出，我用的是server酱，这里就不再叙述了，可以访问官网查看使用方法

https://sct.ftqq.com/

执行程序

使用screen命令，关闭终端程序仍然执行

​​​​​​​

#创建一个screen，名字为wenzhangscreen -S wenzhang  然后执行程序./SecCrawler #这样即使关闭窗口也会继续运行程序#查看创建的screenscreen -ls     #连接wenzhang后台screen，如果存在的话screen -r wenzhang

0x04 效果

注：由于在爬取先知安全社区时程序使用了 Selenium，用户需要手动下载ChromeDriver和Chrome浏览器。

ChromeDriver镜像站：http://npm.taobao.org/mirrors/chromedriver/

Windows和Mac用户在下载Chrome并安装后，下载对应chrome版本的ChromeDriver并在配置文件config.yml中指定ChromeDriver的路径Linux用户在下载Chrome（链接如下）并安装后，同上编辑配置文件Debian/Ubuntu(64位.deb)                                                                                         Fedora/openSUSE(64位.rpm)Chrome浏览器可以访问chrome://version/查看版本命令行可以使用google-chrome-stable --version查看版本