qq_52159257-CSDN博客

原创 spark学习笔记

spark主要特点：1.运行速度快：使用DAG执行引擎以支持循环数据流与内存计算2.容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程3.通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件4.运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源Spark和Hadoop的

2021-03-01 22:49:00 85

原创第五次Python笔记

函数是什么？函数对程序逻辑进行结构化或过程化的一种编程方式，写函数的目的是为了代码的重用。def函数名（[形参]）：#定义函数‘’‘注释’’’函数体函数名[实参] #执行函数。函数的创建定义一个函数，能够完成打印信息的功能def printlnfo（）：print（’-----------------------’）print（‘人生苦短，我用Python’）print（’-----------------------’）printinfo（）#执行函数返回值return表示把

2020-11-29 12:13:31 108

原创第四次Python笔记

什么是字符串？字符串或（string）是由数字、字母、下划线组成的一串字符。它是编程语言中表示文本的数据类型。我们可以使用单引号、双引号或三引号来创建字符串Python程序中的字符串在计算机内存中，统一使用UNicode编码，当需要保存到硬盘或者需要传输的时候，就转为UTF-8编码。字符串中的字符都是有序的、拥有自己的索引（index，也叫下标）从0开始。索引也可以为负值，负数索引表示从右往左开始计数，最后一个元素索引为-1，倒数第二位-2，以此类推。切片Python访问子字符串，可以使用方括

2020-11-28 14:21:55 90

原创第三次Python笔记

什么是序列？序列是被排成一列的数据，也就是说是有序的数据集合。Python中有三种常用的序列:1、列表list[1，2，3，4]2、元组tuple（1，2，3，4）3、字符串string “abcd”序列的通用操作切片([开始：结束：步长])序列的加法（+）序列的乘除（*）成员的资格判断（in）求最大值（max）求最小值（min）求序列长度（len）求和（sum）#字符串不能求和序列的遍历序列的遍历foo=‘abc’for i in foo：print（i）#打印结果为

2020-11-23 00:10:23 203

原创第二次Python笔记

数据类型我们所说的“类型”是变量所指的内存中对象（数据）的类型。数据类型决定了对象可以调用的方法（功能）。数据类型NumberPython自带的数据类型包括：基本类型：数字，字符串，None（空类型），布尔（Ture/False）复合类型：列表，元组，字典，集合，其他数据对象Python支持int、flaot、complex（复数）Python中数字没有大小限制int：整数类型 1 22-123 110float：浮点类型（小数据）3.14 2.22 5.67bool：布尔类型Tru

2020-11-21 22:29:29 51

原创第一次Python笔记

pip与pip源Python使用pip方法安装第三方包，需要从https://pypi.org/资源库中下载，但是会面临下载速度慢，甚至无法下载创建国内源Linux平台mkdir ~/.pipcd ~/.pip在.pip目录下创建一个pip.conf文件，如下：touch pip.confvim ~/.pip/pip.conf#接着，写入一下内容（清华源）：[global]index-url = https：//pypi.tuna.edu.cn/simple[ install]tru

2020-11-19 23:57:34 154 1

原创 python笔记

Python 面向对象Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本章节我们将详细介绍Python的面向对象编程。如果你以前没有接触过面向对象的编程语言，那你可能需要先了解一些面向对象语言的一些基本特征，在头脑里头形成一个基本的面向对象的概念，这样有助于你更容易的学习Python的面向对象编程。接下来我们先来简单的了解下面向对象的一些基本特征。面向对象技术简介类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中

2020-11-03 22:05:43 88

qq_52159257的博客