- 博客(7)
- 收藏
- 关注
原创 2021-06-11
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集
2021-06-11 14:49:20
64
1
原创 2021-03-03
一.大数据的三个特点规模性(Volume)多样性(Variety)高速性(Velocity)二.从数据库(Database,DB)到大数据(Big Data,BD)1、数据规模“池塘” 的处理对象通常以MB为基本单位,而“大海” 则常常以GB,甚至TB、PB为基本处理单位。2、数据类型“数据库”,数据的种类单一,往往仅一种或少数几种,这些数据又以结构化数据为主。而在“大数据” 中,数据的种类繁多,包含着结构化、半结构化以及非结构化的数据。Spark简介Spark概述1. 什么是Spark?Spark
2021-03-03 10:11:49
80
原创 2020-11-29
函数是 Python 程序的重要组成单位,一个 Python 程序可以由很多个函数组成。前面我们己经用过大量函数,如 len()、max() 等,使用函数是真正开始编程的第一步。比如在程序中定义了一段代码,这段代码用于实现一个特定的功能。问题来了,如果下次需要实现同样的功能,难道要把前面定义的代码复制一次?如果这样做实在太傻了,这意味着每次当程序需要实现该功能时,都要将前面定义的代码复制一次。正确的做法是,将实现特定功能的代码定义成一个函数,每次当程序需要实现该功能时,只要执行(调用)该函数即可。通俗来讲
2020-11-29 19:19:31
69
原创 2020-11-25
1.open函数 Python使用poen函数操作文件open(file,mode,encoding)file: 文件名 绝对路径 、相对路径open(“D:\Python\test\a.txt”)open(r"E:\java\jdbc\mysql1-5.10.11.jar")open("/home/stu/test/a.txt")open(“test/a.txt”)mode :“r” “w” “a” “r+” “w+” “a+” “b”使用“w”模式创建文件,慎用,文件存在时会覆盖原文件使用“a”模式追
2020-11-25 19:52:04
99
1
原创 2020-11-18
Python 模块模块Python中的模块是一个 .py 文件内部可以包含定义好的函数、变量、类、数据、执行的功能可以用作内置模块,自定义模块,第三方模块(使用原因)调用模块可以简化开发,减少代码量(怎么使用)使用“import 模块名”或“from 模块名 import 函数名,变量名,类名”:Python 模块(Module),是一个 Python 文件,以 .py 结尾,包含了 Python 对象定义和Python语句。from 模块名 import 函数名(也可以是变量名或类名) fr
2020-11-18 20:40:48
103
原创 2020-11-11
在 Python 中,* 和 ** 具有语法多义性,具体来说是有四类用法。算数运算* 代表乘法** 代表乘方>>> 2 * 510>>> 2 ** 5322. 函数形参*args 和 **kwargs 主要用于函数定义。你可以将不定数量的参数传递给一个函数。不定的意思是:预先并不知道, 函数使用者会传递多少个参数给你, 所以在这个场景下使用这两个关键字。其实并不是必须写成 *args 和 **kwargs。 *(星号) 才是必须的. 你也可以写成 *ar 和 k
2020-11-11 21:37:03
85
原创 2020-11-04
函数:是一个被封装起来的具有特定功能的代码段,可以被重复调用执行参数:形参:函数的局部变量,用于接收函数外部的数据实参:调用执行函数时,给它传递的外部的数据传参:将实参的值赋值给形参返回值:将函数内部的数据复制到函数外部return 返回值1,返回值2…参数的类型有1.位置参数:实参的赋值和形参定义的位置一致def func(x,y,z) print(“x:”,x,“y:”,y,“z:”,z)func(3, 9,12)12342.命名参数:实参的顺序可以和形参不一致,执行函数时使用 (形参=实参)f
2020-11-04 19:43:18
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人