![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 80
sizhi_xht
心之所向,行必能至。
展开
-
leveldb原理和使用
LevelDB是一个基于本地文件的存储引擎,非分布式存储引擎,原理基于BigTable(LSM文件树),无索引机制,存储条目为Key-value。适用于保存数据缓存、日志存储、高速缓存等应用,主要是避免RPC请求带来的延迟问题。在存取模型上,顺序读取性能极高,但是对于随机读取的情况延迟较大(但性能也不是特别低),比较适合顺序写入(key),随机的key写入也不会带来问题。数据存量通常为物理内存的3~5倍,不建议存储过大的数据,在这个数据量级上,leveldb的性能比那些“分布式存储”要高(即本地磁盘存取延迟转载 2021-08-31 16:13:29 · 2372 阅读 · 0 评论 -
分布式节点部署爬虫管理平台
管理平台可以实现在多个节点上跑爬虫任务的需求,也就是在分布式节点上管理爬虫。例如有多台服务器,需要在这些服务器集群上运行、监控、操作相关爬虫脚本,并集中统一查看和管理,这种应用场景就非常适合天生支持分布式管理的爬虫管理平台Crawlab。要让各个节点运行的Crawlab服务协同工作在同一个网络,只需要让这些服务连接到MongoDB和Redis数据库,而不需要暴露自己的IP和端口。 下图是一个多节点部署的示意图,展示了Crawlab分布式集群是如何工作的。每一个Crawlab服务都在一台服...原创 2020-09-01 14:28:41 · 773 阅读 · 0 评论