- 博客(6)
- 收藏
- 关注
原创 2021-02-28
Spark简介: Spark最初由美国加州伯克利大学(UCBerkeley)的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。 2013年Spark加入Apache孵化器项目后发展迅猛,如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一(Hadoop、Spark、Storm)。 Spark在2014年打破了Hadoop保持的基准排序纪录 Spark/206个节点/23分钟/100TB数据 Hadoop/2000个节点/72分钟
2021-02-28 13:30:12 107 1
原创 python字典
字典 字典对象是按如下构造的: 1、如果没有提供位置参数,则构造空字典对象。 2、如果提供的位置参数是映射类型的,则创建包含与该参数所包含的键值对的相同的字典。 3、如果提供的位置参数是可迭代类型的,则构包含该参数中每个元素的第一个对象为键第二个对象为值的键值对的字典,如果键重复出现则最后出现的值为此键的值。这种情况下要求该参数中的元素本身必须是包含两个对象的可迭代类型的对象,并且元素的第一个对象必须是可哈希的。如果不满足此要求会报TypeError。 4、如果提供了关键字参数,则关键字参数表示的键值对加入
2020-12-09 18:07:43 96
原创 python异常处理
异常处理 异常:程序运行过程中出现的错误和警告 异常类:给不同的种类的异常分的类型 NameError:标示符未定义错误 异常处理 :让程序不报错.(不终止运行,可以提示错误,记录进错误日志) 断言(Assertions) : 在需要的时候进行报错. 异常处理 try: #必选(尝试)可能会出现异常的代码 except: #捕获到异常要执行的操作(当出错时,执行) except Exception as e: 可以用来记录错误日志 f = open(“error.log”,“a”) f.write(time
2020-12-09 18:06:03 110
原创 2020.10.31Python函数与参数
Python函数入门函数基础函数是什么定义函数调用函数变量作用域参数的类型 函数基础 函数是什么 函数是对程序逻辑进行结构化或过程化的一种编程方式,写函数的目的是为了代码的重用。 定义函数 1.函数代码块以 def 关键词开头,后接函数标识符名称和圆括号 ()。 2.任何传入参数和自变量必须放在圆括号中间,圆括号之间可以用于定义参数。 3.函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。 4.函数内容以冒号 : 起始,并且缩进。 5.函数名只能包含字符串、下划线和数字且不能以数字开头。尽量简短
2020-10-31 11:24:50 195 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人