qq_34276652的博客

PySparkSparkContext:RDD:spark中提供了两个机器学习库mllib和ml，mllib的操作是基于RDD的，而ml则是基于DataFrame

同步/异步同步：不同程序单元为完成某个任务，在执行过程中需靠某种通信方式以协调一致，我们称这些程序单元是同步执行的。例如购物系统中更新商品库存，需要用“行锁”作为通信信号，让不同的更新请求强制排队顺序执行，那更新库存的操作是同步的。简言之，同步意味着有序。 异步：不同程序单元为完成某个任务，在执行过程中无需通信协调，也能完成任务的方式，不相关的程序单元之间可以是异步的。例如，爬虫下载网页。调度程序调用下载程序后，即可调度其他任务，而无需与该下载任务保持通信以协调行为。不同网页的下载、保存等操作都是无关

迭代器生成器装饰器面向切面编程代理模式

闭包：函数对象+创建它时的环境（外部环境）（环境即作用域，即变量和函数的可见性）Python 支持函数式编程，可以在一个函数中定义新的函数，例如装饰器就是这样定义的。此时内部额外定义的函数被称为嵌套函数（nested function），外部的函数被称为外函数(outer function)，嵌套函数可以访问外函数的局部变量和参数，这种来自外函数的变量和参数称为自由变量（free variable）。闭包是指嵌套函数和它可以访问的自由变量。 闭包在 Python 中是一个包含自由变量的函数对象，自由.

创建型模式单例模式 (懒汉式）这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建；该类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。class SingletonObject: def __new__(cls): if not hasattr(SingletonObject,"__instance"): SingletonObject.__instance = super().__new__(

linux的五种IO模式：用户空间与内核空间：现代操作系统采用虚拟存储器，对32位操作系统而言，它的虚拟存储空间(寻址空间)为4G(2的32次方)。操作系统的核心是内核(kernel)，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核，保证内核的安全，操心系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。IO：即数据的读取（接收）或写入（发送）操作，通常用户进程中的一个完整IO分为两阶段：用户进程空间<-->内

1

1

ray作为分布式系统，ray遵循了典型的Master-Slave设计，Master负责全局协调和状态维护，Slave执行分布式计算任务关键组件Global Scheduler:Global Control State:Object Store:Worker:主要API启动：ray.init() 该方法可以加参数，如num_cpus等远程函数：put和get：用作python对象和对象ID之间的转换任务依赖：Actors：ray.wait()：da.

GIL是什么In CPython, the global interpreter lock is a mutex held by the interpreter thread,that prevents multiple native threads from executing Python bytecodes at once (exactly one thread to execute at a time, even if run on a multi-core processor). This .