- 博客(6)
- 收藏
- 关注
原创 成千上万个站点,日数据过亿的大规模爬虫是怎么实现的?
分布式爬虫、智能解析、消息队列、去重和调度等技术点我们身边接触最频繁、同时也是最大的爬虫莫过于几大搜索引擎。但是搜索引擎的爬取方式和我们爬虫工程师接触的方式差异比较大,没有太大的参考价值,我们今天要讲的是舆情方向的爬虫(架构以及关键技术原理),主要涉及:网页文本智能提取;分布式爬虫;爬虫 DATA/URL 去重;爬虫部署;分布式爬虫调度;自动化渲染技术;消息队列在爬虫领域的应用;各种各样形式的反爬虫;请大家买好瓜子,搬好凳子坐下学习,并准备好争夺文末赠送的奖品!一、网页文本智..
2021-04-11 09:08:07
752
原创 基于 Nginx 的 HTTPS 证书配置实践
前往 韦世东的技术专栏 收获爬虫架构/爬虫逆向/存储引擎/消息队列/Python/Golang相关知识HTTPS 的好处就不多说了,不过随着 Chrome 和 FireFox 在地址栏添加了明显的锁标识,甚至在用户访问网页的时候会显示这样一来,我们就不得不给自己的站点加上 SSL 证书,否则会损失不少的访问量。免费的证书从哪里申请收费的 SSL 证书到处都是,如果是安全性较高(例如包含资金往来、个人敏感信息)的站点,购买收费证书会比免费证书好。如果只是个人专栏、企业官网等,可以选择国内几大云..
2021-03-15 12:54:01
198
原创 ElasticSearch 定时删除指定天数的数据实践
网上对于定时删除 ElasticSearch 索引数据有相当多的文章,有一些是借助 Curator 工具实现,有一些通过 ElasticSearch 的 delete_by_query 语句实现。事实上这几种都可以实现我们想要定期删除数据的效果,粗略翻看了一下(本王还没来得及细看),可以这么理解:delete_by_query 语句适合删除指定索引中的指定数据,例如删除索引 error_log 中距今超过 5 天的数据;Curator 工具适合删除指定的索引,例如删除索引 error_log_20.
2021-03-15 12:49:14
1600
原创 持续交付实践 - GitHub Actions 部署 Node 应用到云服务器
前往 韦世东的技术专栏 收获爬虫架构/爬虫逆向/存储引擎/消息队列/Python/Golang相关知识GitHub Actions 是 Github 官方推出的 CICD 工具,我们可以借助 Actions 构建自动化的部署工作流,那些环境安装、配置、文件移动操作再也不需要我们自己手动操作了。在使用 GitHub Actions 前,我以为需要自己在云服务器上安装运行环境依赖、以为需要在服务器上安装 Agent。在实践过一次之后,我感觉是真的香!Actions 给我带来了极大的便利,以部署 Nod.
2021-03-15 12:44:41
642
2
原创 SSH 免密码/免用户名/免IP登录云服务器实践
前往 韦世东的技术专栏 收获爬虫架构/爬虫逆向/存储引擎/消息队列/Python/Golang相关知识SSH 是 Secure Shell 的缩写,耿直地翻译过来可以称作安全外壳协议。我们可以借助 SSH 协议连接到远程服务器并完成身份校验操作,也就是说使用了 SSH 密钥进行身份验证可以免去每次都输入密码的繁琐操作,同时账户安全性也得到大幅提高。以 Centos 为例,SSH 默认存放在 ~/.ssh 目录下,我们可以通过 $cd ~/.ssh && ls 组合命令查看目录下存放.
2021-03-15 12:38:28
310
原创 Prometheus 监控带用户名密码的 API (NGINX)采集配置
这篇文章的主要目的是告诉大家如何配置 Prometheus,使得它可以从指定的 Web Api 接口采集指标数据。文章中用到的案例是 NGINX 的采集配置,从设定了用户名和密码的 NGINX 数据指标页中采集数据,因此这篇文章的副标题可能是 nginx 的 prometheus 采集配置或者prometheus 采集 basic auth 的 nginx。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IelOzZ1C-1615767638532)(https://img.
2021-03-15 08:29:26
1793
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人