- 博客(7)
- 收藏
- 关注
RSS订阅原创 2021-06-11
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark 是一种与 Hadoop 相似的开源集
2021-06-11 14:49:20
64
1
原创 2021-03-03
一.大数据的三个特点规模性（Volume）多样性（Variety）高速性（Velocity）二.从数据库(Database,DB)到大数据(Big Data,BD)1、数据规模“池塘” 的处理对象通常以MB为基本单位，而“大海” 则常常以GB，甚至TB、PB为基本处理单位。2、数据类型“数据库”，数据的种类单一，往往仅一种或少数几种，这些数据又以结构化数据为主。而在“大数据” 中，数据的种类繁多，包含着结构化、半结构化以及非结构化的数据。Spark简介Spark概述1. 什么是Spark？Spark
2021-03-03 10:11:49
80
原创 2020-11-29
函数是 Python 程序的重要组成单位，一个 Python 程序可以由很多个函数组成。前面我们己经用过大量函数，如 len()、max() 等，使用函数是真正开始编程的第一步。比如在程序中定义了一段代码，这段代码用于实现一个特定的功能。问题来了，如果下次需要实现同样的功能，难道要把前面定义的代码复制一次？如果这样做实在太傻了，这意味着每次当程序需要实现该功能时，都要将前面定义的代码复制一次。正确的做法是，将实现特定功能的代码定义成一个函数，每次当程序需要实现该功能时，只要执行（调用）该函数即可。通俗来讲
2020-11-29 19:19:31
69
原创 2020-11-25
1.open函数 Python使用poen函数操作文件open(file,mode,encoding)file: 文件名 绝对路径 、相对路径open(“D:\Python\test\a.txt”)open(r"E:\java\jdbc\mysql1-5.10.11.jar")open("/home/stu/test/a.txt")open(“test/a.txt”)mode :“r” “w” “a” “r+” “w+” “a+” “b”使用“w”模式创建文件，慎用，文件存在时会覆盖原文件使用“a”模式追
2020-11-25 19:52:04
99
1
原创 2020-11-18
Python 模块模块Python中的模块是一个 .py 文件内部可以包含定义好的函数、变量、类、数据、执行的功能可以用作内置模块，自定义模块，第三方模块（使用原因）调用模块可以简化开发，减少代码量（怎么使用）使用“import 模块名”或“from 模块名 import 函数名，变量名，类名”:Python 模块(Module)，是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句。from 模块名 import 函数名(也可以是变量名或类名) fr
2020-11-18 20:40:48
103
原创 2020-11-11
在 Python 中，* 和 ** 具有语法多义性，具体来说是有四类用法。算数运算* 代表乘法** 代表乘方>>> 2 * 510>>> 2 ** 5322. 函数形参*args 和 **kwargs 主要用于函数定义。你可以将不定数量的参数传递给一个函数。不定的意思是：预先并不知道, 函数使用者会传递多少个参数给你, 所以在这个场景下使用这两个关键字。其实并不是必须写成 *args 和 **kwargs。 *(星号) 才是必须的. 你也可以写成 *ar 和 k
2020-11-11 21:37:03
85
原创 2020-11-04
函数:是一个被封装起来的具有特定功能的代码段，可以被重复调用执行参数:形参:函数的局部变量，用于接收函数外部的数据实参:调用执行函数时，给它传递的外部的数据传参:将实参的值赋值给形参返回值:将函数内部的数据复制到函数外部return 返回值1,返回值2…参数的类型有1.位置参数:实参的赋值和形参定义的位置一致def func(x,y,z) print(“x:”,x,“y:”,y,“z:”,z)func(3, 9,12)12342.命名参数:实参的顺序可以和形参不一致，执行函数时使用 (形参=实参)f
2020-11-04 19:43:18
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人