- 博客(20)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Spark编程基础(Python版)RDD编程
一、创建RDD1、textFile（url）从文件系统中加载数据创建RDD：url可以是本地文件系统的地址，也可以是分布式文件系统DFS，亦或是Amazon S3地址。from pyspark import SparkContext,SparkConf#从本地文件系统lines = sc.textFile("file:///root/class/score.txt")#从分布式文件系统,下面三种写法等价lines = sc.textFile("hdfs://localhost:9000
2022-05-03 15:29:07
1252
原创 spark编程基础（python版）-- RDD基础
一、Hadoop与spark区别Hadoop虽然已经成为大数据技术的事实标准，但其本身存在很多缺陷。比如，mapreduce计算模型延迟过高，无法实现实时快速计算的需求，只适用于离线批处理，I/O磁盘开销大。spark在借鉴mapreduce优点同时，很好解决了mapreduce存在的缺陷：1、spark计算也属于mapreduce计算，但不局限于map和reduce操作；2、spark提供内计算，中间结果放入内存，提高迭代运算效率；...
2022-05-03 11:49:02
1978
原创 JavaScript -- jQuery（一）
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>jQuery</title> <script src="./js/jquery-3.6.0.min.js"></script></head><div id = 'div1'> 你好 <button id = .
2022-04-26 16:26:29
57
原创 JavaScript复习（一）
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><script>/*1、JavaScript组成： DOM:文档对象模型 BOM:浏览器对象模型 ECMAScript：核心，规定js基础语法和核心内容2、.
2022-04-18 17:32:24
542
原创 Spark编程基础(Python版)之RDD
在mapreduce框架执行时，会将中间结果写入到稳定存储（磁盘）中，会造成大量的数据复制、磁盘io、序列化开销。RDD提供一个抽象的数据构架，需要将具体的应用逻辑表达为一系列转换处理。不同的RDD之间的转换形成依赖关系，可以实现管道化，避免中间数据存储。 一、什么是RDD分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，可以在不同节...
2022-03-19 10:29:19
2266
原创 JavaScript--流程控制
流程控制主要有以下三种结构：顺序结构、分支结构、循环结构。1、1 顺序结构顺序结构很好理解，是JavaScript的基本结构，程序按照代码的先后顺序执行。1、2分支结构1、2、1 if……（else）语句条件语句，当满足某种条件就进行某种处理。最基本的条件语句：if ……else switch……case if……else流程图： switch……case流程图： ...
2022-03-08 18:20:26
385
原创 JavaScript--数据转换及运算符
一、数据类型转换数据类型转换，就是把某一种数据类型转换为另一种数据类型。1、1转换为字符串 //第一种，使用 + 拼接字符串 var a = 123 + ""; console.log(a,typeof a); //console.log()可以输出多个值，中间使用 ， 分割 //第二种 toString（） var str = a.toString(); console.log(str,typeof str); //第三种 Stri
2022-03-06 17:31:40
717
原创 JavaScript--数据类型
在js中一共有6种数据类型 ：String （字符串）、 Number（ 数值）、 Boolean （布尔值 ）、Null （空值）、Undefined （未定义）、 Object（ 对象）其中string、number、null、boolean、undefined属于基本数据类型 ，而object属于引用数据类型一、字符串（string） 字符串 ： 在js中字符串需要使用引号引用起来var str = 'helloword';console.log(st...
2022-03-05 16:58:18
394
原创 JavaScript--基础语法（一）
一、书写位置 一般有三种书写位置： 1、编写到script标签中type：默认为 text/javascriptsrc：当需要引入一个外部js文件时，指明该属性文件地址<script type="text/javascript"> //向控制台输出helloword，只有开发人员才能看到 // console.log("helloword"...
2022-03-03 15:08:29
297
原创 进程与线程
一、进程 1、什么是程序？ 是一个在时间上严格有序的指令集合。 一个程序通常由若干个程序段组成，必须按照某种先后次序来执行，当前一个操作执行完成后才能执行下一个操作。 程序的顺序执行： 根据上述所言，我们可以得出程序有以下几个特点：顺序性、封闭性、可再现性...
2021-11-17 17:27:19
40
原创 1、4 python 列表修改、查找元素
一、修改元素 1、修改单个元素非常简单，直接对元素赋值即可。nums = [40, 36, 89, 2, 36, 100, 7]nums[2] = -26 #使用正数索引nums[-3] = -66.2 #使用负数索引print(nums) 2、Python 支持通过切片语法给一组元素赋值。在进行这种操作时，如果不指定步长（step 参数）nums = [40, 36, 89, 2, 36, 100, 7]#修改第 1~4 个元素的值（不包括第4...
2021-08-07 21:38:16
335
1
原创 1.3 python列表删除元素
在Python列表中删除元素主要分为以下 3 种场景：根据目标元素所在位置的索引进行删除，可以使用 del 关键字或者 pop() 方法； 根据元素本身的值进行删除，可使用列表（list类型）提供的 remove() 方法； 将列表中所有元素全部删除，可使用列表（list类型）提供的 clear() 方法。del：根据索引值删除元素del 不仅可以删除整个列表，还可以删除列表中的某些元素。 1、del 删除列表中的单个元素：del list1[in...
2021-08-07 14:37:15
355
原创 1.2 python列表添加元素的三种方法
列表是序列的一种，可以使用 + 进行链接，这样相当于在第一个列表的末尾添加了另一个列表。list1 = [1,2,3,4]list2 = ['a','b','c']list3 = list1 + list2print(list3)输出结果： [1,2,3,4,'a','b','c'] 可以看出使用 + 会生成一个新的列表，但是该方法效率不高第一种方法：append（） append()方法用于在列表的末尾追加元素，语法格式：...
2021-08-07 14:25:49
27607
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人