python网络爬虫--爬虫性能分析（9）

• 多线程，多进程，协程

提升性能

• 硬件级别
  • 电脑组成的硬件
  • 网络
  • 加设备
• 软件级别
  • 操作系统
    • 指定软件进行优化
  • 具体软件
    • 软件版本
    • 软件编程
      • 数据结构
      • 算法
      • 流程
      • 时间 空间 转换
      • 具体的小方案
        • XXX

多设备协作

• 集群
  • 很多设备做完全一样的事情
• 分布式
  • 做的是不一样的事
  • 共同完成了一件事情
  • 还是有做相同事情的机器的