- 博客(6)
- 收藏
- 关注
RSS订阅原创 2021-03-03
Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms, Machines and People）实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目，其诸多核心理念均源自学术研究论文。2013年，Spark加入Apache孵化器项目后，开始获得迅猛的发展，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（即Hadoop、Spark、Storm）。 Spark作为大数
2021-03-03 12:31:16
92
原创 2020-11-29
模块是python的一个重要概念 模块的表现形式是一个python文件代表一个模块 比较独特的一点是导入一个python模块，就创建了关于这个模块的一个对象。 在刚开始学python的时候，我怎么也想不通为什么可以模块名通过点号运算 引用模块中的函数和变量。 事实上，导入模块会做三个工作。 1.通过模块名搜索模块文件 2.将模块文件编译成字节码形式（可选） 3.执行模块文件字节码，并且创建模块对象 在第三个步骤中，将模块变量名指向模块对象 更深一步 import和from语句本质上是赋值语句 import
2020-11-29 17:00:15
70
1
原创 2020-11-29
Python的异常类 常见异常类 Exception 所有异常基类 NameError 尝试访问不存在的用户名 ImportError 导入模块发生异常 SyntaxError 语法错误 IndexErrror 索引错误 IOEError I/O错误 KeyError 调用字典中不存在的键 AttributeError 访问未知对象的属性 ValueError 函数传参类型错误 ZeroDivisionError：当除或求余运算在右侧运算数为0是抛出的异常 UnboundLocalError：在引用还没有赋
2020-11-29 16:57:33
47
原创 2020-11-19
模块是一系列常用功能的集合体，一个py文件就是一个模块。 一、模块的作用： 1、从文件级别组织程序，方便管理，随着程序的发展，功能越来越多，我们通常将程序分成一个个py文件，这样做程序的结构更清晰，方便管理。这时我们不仅可以把这些文件当做脚本去执行，还可以把他们当做模块来导入到其他的模块中，实现了功能的重复利用。 2、拿来主义，提升开发效率 同样的原理，我们也可以下载别人写好的模块然后导入到自己的项目中使用，这种拿来主义，可以极大地提升我们的开发效率，避免重复造轮子。每个模块都是一个独立的名称空间，定义在这
2020-11-19 12:06:26
1136
原创 2020-11-12
第二次笔记 匿名函数-lambda 1.概念：不使用def这样的语句去定义函数，使用lambda来创建匿名函数 2.特点：lambda只是一个表达式，函数体比def简单实现的逻辑比较简单，主体是一个表达式，而不是代码块，lambda表达式中封装简单的逻辑lambda函数有自己的命名空间，且不能访问自由参数列表之外的或者全局命名空间的参数 3.格式：lambda 参数1,参数2,…,参数n:expression 高阶函数-map和reduce python内置了map()和reduce函数() 1.map()
2020-11-12 12:15:04
89
1
原创 2020-11-04
Python标识符 在 Python 里，标识符有字母、数字、下划线组成。在 Python 中，所有标识符可以包括英文、数字以及下划线(_)，但不能以数字开头。Python 中的标识符是区分大小写的。以下划线开头的标识符是有特殊意义的。 以单下划线开头 _foo 的代表不能直接访问的类属性，需通过类提供的接口进行访问，不能用 from xxx import * 而导入； 以双下划线开头的 __foo 代表类的私有成员；以双下划线开头和结尾的 foo 代表 Python 里特殊方法专用的标识，如 init()
2020-11-04 20:04:38
81
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人