- 博客(118)
- 收藏
- 关注
RSS订阅原创 Pyspark学习笔记（一）---序言及目录
前言 提示：自己学习Pyspark时所记录笔记，以便日后回忆 1.学习spark时的一些 官方API和参考文档 ################ Spark Python API and Docs ################### Spark Python API Docs i.pyspark package ii.pyspark.sql module iii.pyspark.ml package iv.pyspark.streaming module v.pyspark.mllib p..
2022-05-25 21:48:09
685
原创 Pyspark学习笔记（五）RDD操作(三)_键值对RDD转换操作
Pyspark学习笔记专栏系列文章目录 Pyspark学习笔记（一）—序言及目录 Pyspark学习笔记（二）— spark-submit命令 Pyspark学习笔记（三）— SparkContext 与 SparkSession Pyspark学习笔记（四）弹性分布式数据集 RDD（上） Pyspark学习笔记（四）弹性分布式数据集 RDD（下） Pyspark学习笔记（五）RDD操作(一)_RDD转换操作 Pyspark学习笔记（五）RDD操作(二)_RDD行动操作 Pyspark学习笔记（五）R.
2022-05-24 22:25:33
998
原创 Pyspark学习笔记（五）RDD操作(二)_RDD行动操作
Pyspark学习笔记专栏系列文章目录 Pyspark学习笔记（一）—序言及目录 Pyspark学习笔记（二）— spark-submit命令 Pyspark学习笔记（三）— SparkContext 与 SparkSession Pyspark学习笔记（四）弹性分布式数据集 RDD（上） Pyspark学习笔记（四）弹性分布式数据集 RDD（下） Pyspark学习笔记（五）RDD操作(一)_RDD转换操作 Pyspark学习笔记（五）RDD操作(二)_RDD行动操作 文章目录Pyspark学习笔记.
2022-03-13 22:10:25
3732
原创 Pyspark学习笔记（五）RDD操作(一)_RDD转换操作
Pyspark学习笔记专栏系列文章目录 Pyspark学习笔记（一）—序言及目录 Pyspark学习笔记（二）— spark-submit命令 Pyspark学习笔记（三）— SparkContext 与 SparkSession Pyspark学习笔记（四）弹性分布式数据集 RDD（上） Pyspark学习笔记（四）弹性分布式数据集 RDD（下） Pyspark学习笔记（五）RDD操作(一)_RDD行动操作 文章目录Pyspark学习笔记专栏系列文章目录Pyspark学习笔记（五）RDD操作(一)_.
2022-03-07 22:19:42
2677
原创 Pyspark学习笔记（六）DataFrame简介
Pyspark学习笔记（六） 文章目录Pyspark学习笔记（六）前言DataFrame简介一、什么是 DataFrame ？二、RDD 和 DataFrame 和 Dataset三、选择使用DataFrame / RDD 的时机 前言 本篇博客讲的是DataFrame的基本概念 DataFrame简介 主要参考文献： A Tale of Three Apache Spark APIs: RDDs vs DataFrames and Datasets RDDs vs. Dataframes
2021-09-12 21:09:53
848
原创 Pyspark学习笔记（四）弹性分布式数据集 RDD 综述（下）
文章目录前言一、PySpark RDD 持久化①` cache()`②` persist() `③ `unpersist() `二、持久性存储级别`MEMORY_ONLY ``MEMORY_AND_DISK``DISK_ONLY``MEMORY_ONLY_2``MEMORY_AND_DISK_2``DISK_ONLY_2`三、共享变量1.广播变量（只读共享变量）i 广播变量 ( broadcast variable)ii 创建广播变量2.累加器变量（可更新的共享变量） 前言 本篇主要讲述了如何在执行p.
2021-08-12 20:42:38
823
原创 Pyspark学习笔记（三）--- SparkContext 与 SparkSession
Pyspark学习笔记（三）— SparkContext 与 SparkSession 文章目录Pyspark学习笔记（三）--- SparkContext 与 SparkSession一、什么是SparkContext？二、什么是 SparkSession三、SparkSession 常用方法 一、什么是SparkContext？ SparkContext 从 Spark 1.x（JavaSparkContext for Java）开始可用，在 2.0 中引入 SparkSession 之前，它被用
2021-06-25 20:01:05
7710
1
原创 Pyspark学习笔记（二）--- spark部署及spark-submit命令简介
Pyspark学习笔记（二）--- spark-submit命令 非交互式应用程序，通过spark-submit命令提交任务,官方讲解如下链接所示 http://spark.apache.org/docs/latest/submitting-applications.html#submitting-applications, spark-submit脚本位于spark安装目录下的bin文件夹内，该命令利用可重用的模块形式编写脚本， 以编程方式提交任务到Spark上去，并可以支持.......
2021-03-17 16:47:14
2821
原创 TensorFlow使用
最近因为工作需要，准备使用TensorFlow框架，因为一直有使用pytorch的经验，所以以为不会很麻烦，但是看了几天官方文档之后，果断弃坑，去TMDSB Tensorflow，模块乱糟糟的像一锅粥，我宁愿去用百度的paddlepaddle。 ...
2021-03-05 13:16:20
320
1
原创 离线安装pytorch
离线安装pytorch 核心思想： 搭梯子翻出去 用网址链接直接用浏览器下载安装包，然后拷贝回linux系统中本地离线安装。 首先报一下我自己的参数： Anaconda3，python3.7，CUDA10.1.243，CUDNN7.6.3 然后我就在官网上找到适合我的，写这篇博文的时候是1.4版本为stable版本，结合自己的参数选择如下界面： 官网的安装指令为：conda i...
2020-05-01 16:20:21
6286
原创 深度学习基础知识（〇）--- 目录
本系列涉及深度学习中的一些较为常见的、基础的知识点： 点击标题即可跳转到相应的博文页面 1. 权重初始化 2. 卷积网络 与 池化操作 3. Normalization 操作 4. 激活函数 5. dropout 操作 6. 损失函数 7. 优化方法 个人水平有限，难免挂一漏万，欢迎赐教指正。 ...
2020-01-30 23:22:30
826
2
原创 深度学习基础知识（七）--- 各种优化方法
深度学习常用的优化方法 参考资料：《Deep Learning》、pytorch 文档 深度学习中，优化算法的 目标函数 通常是一个基于训练集的损失函数，优化的目标在于降低训练误差。 这意味着用训练集上的 经验分布 代替 真实分布。 最小化这种平均训练误差的训练过程，被称为经验风险最小化（empirical risk minimization） 1.Stochastic ...
2020-01-30 21:30:06
1870
原创 深度学习基础知识（六）--- 损失函数
1.L1损失（绝对损失函数） 和 L2 损失（平方损失函数） L1范数损失函数，也被称为 最小绝对值偏差（LAD），最小绝对值误差（LAE）。 总的说来，它是把目标值（Yi）与估计值（f(xi)）的绝对差值的总和（S）最小化： L2范数损失函数，也被称为最小平方误差（LSE）。总的来说，它是把目标值（Yi）与估计值（f(xi)）的差值的平方和（S）最小化： 2. M...
2020-01-30 21:05:27
2643
原创 深度学习基础知识（五）--- dropout
dropout 可以看作是一种实用的bagging的方法，即模型平均思想的一种运用。 因为模型平均要对训练集有放回的采样，得到多个不同的训练集，再训练多个不同的模型， 在测试阶段由多个不同的模型 表决 或者 平均 来做出最终预测。 但是对于深度神经网络而言，训练多个不同的模型 可能不切实际，会耗费大量时间和计算力， dropout 对神经元随机失活， 也就是说前传的过程中...
2020-01-19 23:00:49
886
原创 深度学习基础知识（四）--- 激活函数
激活函数也就是一些非线性单元，如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 参考文章： https://zhuanlan.zhihu.com/p/25110450 1.sigmoid si...
2020-01-18 13:52:14
984
原创 深度学习基础知识（三）--- Normalization 规范化 操作
本文部分过程和图片来源于以下参考资料 参考资料： 知乎专栏 - 张俊林 - 深度学习中的Normalization模型 - https://zhuanlan.zhihu.com/p/43200897 知乎专栏 - Juliuszh - 详解深度学习中的Normalization，BN/LN/WN - https://zhuanlan.zhihu.com/p/33173246 CSDN ...
2019-12-29 20:19:47
5832
3
原创 VOC数据集解析 VOC2007解析
VOC数据是 PASCAL VOC Challenge 用到的数据集，官网：http://host.robots.ox.ac.uk/pascal/VOC/ 这里以常用的 VOC2007数据集 作为代表来讲解一下VOC数据集 1.下载数据 官网：http://host.robots.ox.ac.uk/pascal/VOC/voc2007/index.html 训练集/验...
2019-12-12 00:31:19
8512
9
原创 深度学习基础知识（二）--- 卷积操作与池化操作
这里并不介绍卷积操作具体是如何进行的，关于这点，很多文章都有介绍。 本文主要介绍一下 为何会广泛使用卷积操作？ 参考资料： 《Deep Learning》 https://mooc.study.163.com/learn/2001281004?tid=2001392030#/learn/content?type=detail&id=2001728690 卷积运算 ...
2019-12-02 19:53:31
2294
1
原创 深度学习基础知识（一）--- 权重初始化
1、为什么需要权重初始化？ ① 为了使神经网络在合理的时间内收敛 ② 为了尽量避免在深度神经网络的正向（前向）传播过程中层激活函数的输出梯度出现爆炸或消失。 2、如何进行初始化？ ①如果将每个隐藏单元的参数都初始化为0 那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度值相等。因此，这些参数在使用基于梯度的优化算法迭...
2019-12-01 23:23:58
6209
原创 安装CUDA10和CUDNN760
安装CUDA10 1.去官网下载想要的cuda https://developer.nvidia.com/cuda-toolkit-archive 2.选中一个 下载包， 按照自己电脑的情况选相应的选项，注意最后一行我选的是deb(network)方式安装，因为如果用deb(local)的话，你可以试着选那个，然后看下面的内容，需要下载整个包，有1.7G，还是算了。这个不影响...
2019-11-27 01:03:20
2099
转载 conda虚拟环境
声明：本文转载自----> https://blog.csdn.net/weixin_43593330/article/details/93378987 在Anaconda中conda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。所以对虚拟环境进行创建、删除等操作需要使用conda命令。 查看Python版本号 python -V #注意V是大写 co...
2019-11-13 17:20:02
996
原创 8-3 图的遍历
8-3 图的遍历 和树的遍历类似，图的遍历也是从某个顶点出发，沿着某条搜索路径对图中所有顶点各做一次访问。 若给定的是连通图，则从图中任一顶点出发顺着边可以访问到该图中所有的顶点。 但是有可能在访问了某个顶点之后，可能顺着某条回路又回到了该顶点。 为了避免重复访问同一个顶点，必须记住每个顶点是否被访问过。 为此，可设置一个标志向量 visited [1,...,N]，以便说明哪些点被...
2019-06-25 23:23:54
641
原创 8-2 图的存储结构
8-2 图的存储结构 1.邻接矩阵（顺序存储结构） 图结构的元素之间虽然具有“多对多”的关系，但是同样可以采用顺序存储，即使用数组有效地存储图。 集合V中所有的顶点可以利用一个一维数组存储；而集合E中所有的边可以用一个二维数组来存储， 此二维数组就称为 邻接矩阵！ 设G=（V, E）是有n个（n>=1)顶点的有向图，则G的邻接矩阵是具有如下性质的 n x n 矩阵： ...
2019-06-25 20:35:58
652
原创 8-1 图结构
8-1 图结构 1、图结构 前面已经讲了 "一对一" 的线性存储结构、"一对多"的树结构 ， 现在介绍 "多对多" 的图结构 图G由两个集合 V和E 组成， 记为G=( V, E) ， 其中 V是顶点（vertex）的有穷 非空 集合，E是指边（edge）的有穷集合。 图存储结构可细分两种表现类型，无向图 和 有向图。 若图G的边没有表示方向，则就称为无向图，这样的边用圆括号表...
2019-06-25 20:03:28
804
原创 0-数据结构与算法链接目录
0-数据结构与算法链接目录 对我自己写的数据结构与算法这一部分的博文做一个目录，方便查询 下面的文字直接点击就可跳转到目标博文页面： 1-数据结构和算法简介 2-1 线性表之顺序表 及其C语言实现 2-2 线性表之链表 及其C++实现 2-3 线性表之静态链表 及3其 C++实现 2-4 线性表之双链表 2-5 线性表之循环链表 2-6 链表逆序 2-7 顺序表 和 链表 ...
2019-06-25 09:44:01
410
原创 7-2 其余的一些树-排序二叉树-霍夫曼树
7-2 其余的一些树 1、二叉排序树 二叉排序树可以通过递归的方法来定义，它或者是空二叉树，或者是具有如下定义的二叉树： 左子树上所有节点的关键字均小于根节点的关键字；右子树上所有节点的关键字均大于等于根节点的关键字。 左子树和右子树本身又各是一颗二叉排序树。 二叉排序树的生成 从二叉排序树的定义中可以得出一个重要性质： 按中序遍历该树所得的中序序列是一个递增有序列！因此...
2019-06-24 11:50:24
657
原创 7-1 树结构 和 二叉树
7-1 树结构 和 二叉树 前面讲的都是 线性存储结构，而树是一种典型的非线性存储结构，一个元素可以有多个直接后继元素。 1.一些术语 ①叶子：没有后继节点的 结点称为叶子节点； ②分支节点： 非叶子节点； ③节点的度： 直接后继节点的数目； ④子节点： 某一个节点的直接后继节点； ⑤父节点：某个子节点的直接前驱节点； ⑦兄弟：具有同一父节点的 一群节点； ⑧节点的层次： 根...
2019-06-24 11:17:54
732
原创 5-数组
5-数组 数组其实是比较熟悉的一种数据类型，但其实数组本身也是一种数据结构。 前面 讨论的线性表结构的顺序存储结构都是借用一维数组来实现的， 一维数组是一种顺序表结构，多维数组是一种特殊的线性结构，是线性表的推广。 数组是用于储存多个相同类型数据的集合。 1.数组的顺序存储结构 由于数组可以是多维的，而顺序存储结构是一维的，因此数组中数据的存储要制定一个先后次序。 通常，数...
2019-06-24 10:37:10
592
原创 4 串
4 串 1.定义 数据结构中，字符串要单独用一种存储结构来存储，称为串存储结构。这里的串指的就是字符串。 严格意义上讲，串存储结构也是一种线性存储结构，因为字符串中的字符之间也具有"一对一"的逻辑关系。只不过，与之前所学的线性存储结构不同，串结构只用于存储字符类型的数据。 2.一些特殊的串 ①空串：存储 0 个字符的串，例如 S = ""（双引号紧挨着）； ②空格串：只包含空...
2019-06-22 14:44:59
568
原创 3-2 队列
3-2 队列 1、基本概念 队列是一种特殊的线性表，特殊之处在于它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作，和栈一样，队列是一种操作受限制的线性表。进行删除操作的端称为队头 ，进行插入操作的端称为队尾。 FIFO (First In First Out) 先进先出 队列的基本操作： ①init() 置空，将队列Q初始化为空； ②empty...
2019-06-22 14:19:29
413
原创 3-1 栈 及其 C++实现
3-1 栈 1、基本概念 栈是限制仅在表的一端进行插入和删除操作的线性表。 通常称插入、删除的这一端为 栈顶， 另一端称为栈底。当表中没有元素时称为空栈。 由于栈中元素的插入和删除操作都只能在栈顶进行，所以总是后进栈的先出栈。 (LIFO) Last In First Out. 后进先出 栈的基本操作有五种： ①init()，将栈S初始化为空 ②empty() 判空栈，判断...
2019-06-21 22:57:03
457
原创 2-7 顺序表 和 链表 对比
2-7 顺序表 和 链表 对比 1、存储结构的不同 虽然它们同属于线性表，但数据的存储结构有本质的不同： 顺序表存储数据，需预先申请一整块足够大的存储空间，然后将数据按照次序逐一存储，逻辑关系就是靠元素间物理空间上的邻接关系来维持 链表 ，什么时候存储数据，什么时候才申请存储空间，数据之间的逻辑关系依靠每个数据元素携带的指针维持， 2、空间利用率 顺序表的空间利用率显然要...
2019-06-21 21:45:33
801
原创 2-6 链表逆序及其C++实现
更多系列博文请点击：0-数据结构与算法链接目录 2-6 链表逆序 我只介绍两种常用方法吧，非递归方法 和 递归 方法 我觉得够用就行 1、非递归方法： 将第二个元素后面的元素依次插入到头结点后面， 最后再把原始第一个元素放到原始第二个元素后面，整个链表就能够反转了 这个方法对于带不带头结点的链表都适用： ①不带头结点 原始链表，其中第二个元素是 B A ->...
2019-06-21 20:36:19
1126
原创 2-5 线性表之循环链表
更多系列博文请点击：0-数据结构与算法链接目录 2-5 线性表之循环链表 循环链表就是链表首尾相接连成一个环，可以用单链表 和 循环链表来实现。 下面分别来看两种情况： 1、使用单链表构建循环链表 为了方便，我这里使用带头结点的单链表来构建循环链表，至于单链表带不带头结点的异同，我在前面的线性表之链表那篇文章中已经做过分析，就不再赘述。 单向循环链表是指在单链表的基础上，表的最...
2019-06-21 17:18:38
514
原创 2-4 线性表之双链表
更多系列博文请点击：0-数据结构与算法链接目录 2-4 线性表之双链表 双向链表除了相当于在单链表的基础上，每个结点多了一个指针域prior，用于存储其直接前驱的地址。同时保留有next，用于存储其直接后继的地址。 所以对于带头结点的双链表，其实很多操作都和 带头结点的单链表是一样的，因为你完全可以忽视掉它有个 prior指针，这样就可以当做单链表来使用。所以，这里只...
2019-06-21 17:05:19
580
原创 2-3 线性表之静态链表 及3其 C++实现
更多系列博文请点击：0-数据结构与算法链接目录 2-3 线性表之静态链表 1、基本定义 静态链表，也是线性存储结构的一种，它兼顾了顺序表和链表的优点。 静态链表，仍需要预先分配一个较大的空间，但是在作为线性表的插入和删除操作时不需要移动元素，仅仅需修改指针，故仍具有链式存储结构的主要优点。 静态链表使用数组来存储数据（和顺序表一样），但是存储位置是随机的，数据之间“一对一的逻辑关...
2019-06-21 01:13:45
562
原创 2-2 线性表之链表 及其C++实现
更多系列博文请点击：0-数据结构与算法链接目录 2-2 线性表之链表 及其C++实现 采用顺序存储结构的顺序表，其数据元素是用一组地址连续的存储单元来依次存放的，无须为表示数据元素之间的逻辑关系而增加额外的存储空间，其逻辑关系蕴含在存储单元的邻接关系中，并且可以方便地随机存取表中的任一元素，但是从它的插入和删除算法可以看出，顺序表的效率较低，需要大量的数据元素的移位。同时，数据元素最大...
2019-06-18 22:44:42
1186
原创 2-1 线性表之顺序表 及其C语言实现
更多系列博文请点击：0-数据结构与算法链接目录 2-1 线性表之顺序表 0、数据结构大致包含以下几种存储结构： 线性表：还可细分为顺序表、链表、栈和队列； 树结构：包括普通树，二叉树，线索二叉树等； 图存储结构； 1、线性表 线性表，全名为线性存储结构。 是由n个相同类型的元素 所构成的 有限线性序列。 线性表主要的基本操作有以下几种： ①Initiate(L...
2019-06-18 10:37:26
563
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人