- 博客(6)
- 收藏
- 关注
RSS订阅原创 成千上万个站点，日数据过亿的大规模爬虫是怎么实现的？
分布式爬虫、智能解析、消息队列、去重和调度等技术点我们身边接触最频繁、同时也是最大的爬虫莫过于几大搜索引擎。但是搜索引擎的爬取方式和我们爬虫工程师接触的方式差异比较大，没有太大的参考价值，我们今天要讲的是舆情方向的爬虫（架构以及关键技术原理），主要涉及：网页文本智能提取；分布式爬虫；爬虫 DATA/URL 去重；爬虫部署；分布式爬虫调度；自动化渲染技术；消息队列在爬虫领域的应用；各种各样形式的反爬虫；请大家买好瓜子，搬好凳子坐下学习，并准备好争夺文末赠送的奖品！一、网页文本智..
2021-04-11 09:08:07
738
原创 基于 Nginx 的 HTTPS 证书配置实践
前往 韦世东的技术专栏 收获爬虫架构/爬虫逆向/存储引擎/消息队列/Python/Golang相关知识HTTPS 的好处就不多说了，不过随着 Chrome 和 FireFox 在地址栏添加了明显的锁标识，甚至在用户访问网页的时候会显示这样一来，我们就不得不给自己的站点加上 SSL 证书，否则会损失不少的访问量。免费的证书从哪里申请收费的 SSL 证书到处都是，如果是安全性较高（例如包含资金往来、个人敏感信息）的站点，购买收费证书会比免费证书好。如果只是个人专栏、企业官网等，可以选择国内几大云..
2021-03-15 12:54:01
188
原创 ElasticSearch 定时删除指定天数的数据实践
网上对于定时删除 ElasticSearch 索引数据有相当多的文章，有一些是借助 Curator 工具实现，有一些通过 ElasticSearch 的 delete_by_query 语句实现。事实上这几种都可以实现我们想要定期删除数据的效果，粗略翻看了一下（本王还没来得及细看），可以这么理解：delete_by_query 语句适合删除指定索引中的指定数据，例如删除索引 error_log 中距今超过 5 天的数据；Curator 工具适合删除指定的索引，例如删除索引 error_log_20.
2021-03-15 12:49:14
1496
原创 持续交付实践 - GitHub Actions 部署 Node 应用到云服务器
前往 韦世东的技术专栏 收获爬虫架构/爬虫逆向/存储引擎/消息队列/Python/Golang相关知识GitHub Actions 是 Github 官方推出的 CICD 工具，我们可以借助 Actions 构建自动化的部署工作流，那些环境安装、配置、文件移动操作再也不需要我们自己手动操作了。在使用 GitHub Actions 前，我以为需要自己在云服务器上安装运行环境依赖、以为需要在服务器上安装 Agent。在实践过一次之后，我感觉是真的香！Actions 给我带来了极大的便利，以部署 Nod.
2021-03-15 12:44:41
612
2
原创 SSH 免密码/免用户名/免IP登录云服务器实践
前往 韦世东的技术专栏 收获爬虫架构/爬虫逆向/存储引擎/消息队列/Python/Golang相关知识SSH 是 Secure Shell 的缩写，耿直地翻译过来可以称作安全外壳协议。我们可以借助 SSH 协议连接到远程服务器并完成身份校验操作，也就是说使用了 SSH 密钥进行身份验证可以免去每次都输入密码的繁琐操作，同时账户安全性也得到大幅提高。以 Centos 为例，SSH 默认存放在 ~/.ssh 目录下，我们可以通过 $cd ~/.ssh && ls 组合命令查看目录下存放.
2021-03-15 12:38:28
301
原创 Prometheus 监控带用户名密码的 API (NGINX)采集配置
这篇文章的主要目的是告诉大家如何配置 Prometheus，使得它可以从指定的 Web Api 接口采集指标数据。文章中用到的案例是 NGINX 的采集配置，从设定了用户名和密码的 NGINX 数据指标页中采集数据，因此这篇文章的副标题可能是 nginx 的 prometheus 采集配置或者prometheus 采集 basic auth 的 nginx。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IelOzZ1C-1615767638532)(https://img.
2021-03-15 08:29:26
1756
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人