Python -- 高并发的解决方案

基本概念

并发和并行区别

并行,parallel

  • 同时做某些事,可以互不干扰的同一个时刻做几件事

并发,concurrency

  • 也是同时做某些事,但是强调,一个时段内有事情要处理。

举例

  • 高速公路的车道,双向4车道,所有车辆(数据)可以互不干扰的在自己的车道上奔跑(传输)
  • 在同一个时刻,每条车道上可能同时有车辆在跑,是同时发生的概念,这是并行
  • 在一段时间内,有这么多车要通过,这是并发

并发的解决

某个时间段内,数据涌来,这就是并发。如果数据量很大,就是高并发

1、队列、缓冲区

  • 假设只有一个窗口,陆续涌入食堂的人,排队打菜是比较好的方式
  • 所以,排队(队列)是一种天然解决并发的办法
  • 排队就是把人排成 队列,先进先出,解决了资源使用的问题
  • 排成的队列,其实就是一个缓冲地带,就是 缓冲区
  • 假设女生优先,每次都从这个队伍中优先选出女生出来先打饭,这就是 优先队列
  • 例如queue模块的类Queue、LifoQueue、PriorityQueue(小顶堆实现

2、争抢

  • 只开一个窗口,有可能没有秩序,也就是谁挤进去就给谁打饭
  • 挤到窗口的人占据窗口,直到打到饭菜离开
  • 其他人继续争抢,会有一个人占据着窗口,可以视为锁定窗口,窗口就不能为其他人提供服务了。这是一种锁机
  • 谁抢到资源就上锁,排他性的锁,其他人只能等候
  • 争抢也是一种高并发解决方案,但是,这样可能不好,因为有可能有人很长时间抢不到

3、预处理

  • 如果排长队的原因,是由于每个人打菜等候时间长,因为要吃的菜没有,需要现做,没打着饭不走开,锁定着窗
  • 食堂可以提前统计大多数人最爱吃的菜品,将最爱吃的80%的热门菜,提前做好,保证供应,20%的冷门菜,现
  • 这样大多数人,就算锁定窗口,也很快打到饭菜走了,快速释放窗口
  • 一种提前加载用户需要的数据的思路,预处理 思想,缓存常用

4、并行

  • 成百上千人同时来吃饭,一个队伍搞不定的,多开打饭窗口形成多个队列,如同开多个车道一样,并行打菜
  • 开窗口就得扩大食堂,得多雇人在每一个窗口提供服务,造成 成本上升
  • 日常可以通过购买更多服务器,或多开进程、线程实现并行处理,来解决并发问题
  • 注意这些都是 水平扩展 思想
  • 注:
    如果线程在单CPU上处理,就不是真并行了
    但是多数服务器都是多CPU的,服务的部署往往是多机的、分布式的,这都是并行处理

5、提速

  • 提高单个窗口的打饭速度,也是解决并发的方式
  • 打饭人员提高工作技能,或为单个窗口配备更多的服务人员,都是提速的办法
  • 提高单个CPU性能,或单个服务器安装更多的CPU
  • 这是一种 垂直扩展 思想

6、消息中间件

  • 上地、西二旗地铁 站外 的九曲回肠的走廊,缓冲人流,进去之后再多口安检进站
  • 常见的消息中间件有RabbitMQ、ActiveMQ(Apache)、RocketMQ(阿里Apache)、kafka(Apache)等
  • 当然还有其他手段解决并发问题,但是已经列举除了最常用的解决方案,一般来说不同的并发场景用不同的策略,
    而策略可能是多种方式的优化组合
  • 例如多开食堂(多地),也可以把食堂建设到宿舍生活区(就近),所以说,技术来源于生活
  • 13
    点赞
  • 48
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
### 回答1: 要成为一个Python的大牛,需要通过一系列实战经验来不断进阶。 首先,我们需要从菜鸟开始,学习基本的语法和常用库。掌握Python的基本语法、变量、数据类型、条件语句和循环语句等是必不可少的。此外,还要熟悉常用的Python库,如NumPy、Pandas和Matplotlib等,这些库在数据处理和可视化方面都非常常用。 接下来,我们需要通过实战来巩固所学的知识。可以选择一些小项目来实践,比如编写一个简单的Web应用、爬取网页数据或者创建一个简单的机器学习模型。通过实际应用,可以提升对Python的实际运用能力。 在实战过程中,我们需要积累并解决一些常见的问题。这些问题可能涉及到代码的优化、调试、性能优化等方面。通过解决这些问题,我们可以提升自己的编程能力,并且学会更高效地利用Python来解决实际问题。 另外,为了进一步提升自己的水平,可以参与开源项目或者自己创建项目。通过参与开源项目,可以学习到更多高级的编程技术和实践经验。同时,创建自己的项目有助于锻炼独立思考和解决问题的能力。 除了对Python语言的掌握外,我们还需要了解相关的领域知识。比如,在数据科学领域,需要学习统计学、机器学习和数据挖掘等知识。通过将Python与领域知识相结合,可以在相关领域中发挥更大的作用。 总而言之,成为一个Python的大牛需要不断地实践和学习。通过不断地积累实战经验,掌握并解决常见问题,参与开源项目或者自己创建项目,同时结合相关领域的知识,多角度地深入学习Python。这样的进阶之路需要耐心和毅力,但最终将能够取得令人骄傲的成果。 ### 回答2: Python是一门广泛应用于软件开发和数据分析的编程语言,具有简洁易学、功能强大的特点,因此非常适合初学者入门。然而,要想从菜鸟到大牛,需要不断拓展知识,提升技能。 首先,要全面掌握Python的基础知识,包括语法、数据类型、条件语句、循环语句等。可以通过阅读相关书籍、教程、参加培训班等方式进行学习。 其次,理解面向对象编程(OOP)是进阶的关键。Python是一门支持OOP的语言,掌握面向对象的概念和用法可以使代码更加模块化和可重用。可以通过练习编写类和对象,深入理解继承、封装和多态等概念。 另外,掌握Python标准库和第三方库也是提升的必要条件。标准库包含了许多常用的模块和函数,如操作文件、网络编程、并发等。同时,第三方库可以满足更具体的需求,如数据分析(NumPy、Pandas)、机器学习(Scikit-learn、TensorFlow)等。可以通过实践项目和参与开源社区来积累经验和熟悉常用的库。 此外,代码优化和性能调优也是进阶的一环。良好的代码结构、规范的命名和注释可以提高代码的可读性和可维护性。同时,了解性能优化的技巧和工具可以提高程序的执行效率。 最后,实际项目经验是从菜鸟到大牛的关键。通过实践解决真实的问题,遇到的挑战和解决方案都可以让你不断成长。可以自己找项目实践,也可以参与开源项目、参加比赛等方式来积攒经验。 总的来说,进阶的过程需要坚持不懈的学习和实践,并且保持持续学习的动力。不断总结和思考,参与开源社区和技术讨论也可以获得更多的启发和帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值