自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

段渣渣推轮子的飙车场

轮子推不好,怎么能飙车?

原创 原地堆排序

原地堆排序 基于堆相关的操作,我们可以很容易的定义堆排序。例如,假设我们已经读入一系列数据并创建了一个堆,一个最直观的算法就是反复的调用extractMax函数,因为该函数总是能够返回堆中最大的值,然后把它从堆中删除,从而对这一系列返回值的输出就得到了该序列的降序排列。真正的原地堆排序使用了另外...

2018-07-31 12:31:45

阅读数 92

评论数 0

原创 堆排序及其优化

堆排序 堆排序(英语:Heapsort)是指利用堆这种数据结构所设计的一种排序算法。堆积是一个近似完全二叉树的结构,并同时满足堆积的性质:即子结点的键值或索引总是小于(或者大于)它的父节点。 排序过程图示 首先,将元素进行重排,以匹配堆的条件。图中排序过程之前简单的绘出了堆树的结构 ...

2018-07-31 12:31:11

阅读数 169

评论数 0

原创 快速排序及其优化——随机化标定点、双路快排、三路快排

快速排序及其优化——随机化标定点、双路快排、三路快排 快速排序基本概念 快速排序(英语:Quicksort),又称划分交换排序(partition-exchange sort),简称快排,一种排序算法,最早由东尼·霍尔提出。在平均状况下,排序 n个项目要 O(nlog n)(大O符号)次比较...

2018-07-29 23:12:50

阅读数 129

评论数 0

原创 归并排序及其优化

归并排序 基本概念 归并排序(英语:Merge sort,或mergesort),是创建在归并操作上的一种有效的排序算法,效率为 O(n\log n)}(大O符号)。1945年由约翰·冯·诺伊曼首次提出。该算法是采用分治法(Divide and Conquer)的一个非常典型的应用,且各...

2018-07-29 23:10:29

阅读数 374

评论数 0

原创 Spark中的Data Sources (数据源)【官网学习摘录笔记】

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ Spark中的Data Sources (数据源) Spark SQL 支持通过 DataFrame 接口对各种 data sources (数据源)进行操作. DataFrame 可以使用 relational tran...

2018-06-28 11:29:11

阅读数 93

评论数 0

原创 新浪股票信息爬取

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ 新浪股票信息爬取 老师想要通过数据做股票预测,我那帮老师爬取了一点数据。 大一时候写的代码了,比较蠢。 不做解释了,只贴上当时的代码。留作纪念吧。 1. 爬取股票列表 如果要爬取各各股票的信息,首先要有股票的代...

2018-06-27 21:27:32

阅读数 488

评论数 0

原创 淘女郎个人信息爬取

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ 淘女郎个人信息爬取 淘宝的模特小姐姐们贼好看,就想爬一波小姐姐们的个人信息喽,大致就是这个图片啦 1.寻找接口 通过网络请求分析发现是json传递的信息 接口就是“https://v.taobao.com/m...

2018-06-27 21:22:57

阅读数 854

评论数 0

原创 Spark-shell启动的时候报Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionStateBuilder’错误

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ https://blog.csdn.net/xiaoduan_/article/details/79815692 Spark-shell启动的时候报java.lang.IllegalArgumentException: E...

2018-04-04 12:21:35

阅读数 4368

评论数 2

原创 Spark的4种运行模式

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ https://blog.csdn.net/xiaoduan_/article/details/79809247 Spark的4种运行模式 模式简介 Spark支持4中运行模式,分别是local Standalon...

2018-04-03 21:04:58

阅读数 396

评论数 0

原创 RDD转DataFrame的两种方法

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ https://blog.csdn.net/xiaoduan_/article/details/79809225 RDD转DataFrame的两种方法 使用反射来推断包含特定类型对象的 RDD 的模式(Inferri...

2018-04-03 21:03:29

阅读数 311

评论数 0

原创 maven-assembly-plugin的使用,打包SparkSQL项目到生产环境

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ https://blog.csdn.net/xiaoduan_/article/details/79809188 maven-assembly-plugin的使用,打包SparkSQL项目到生产环境   这里有一个pom...

2018-04-03 21:00:40

阅读数 399

评论数 0

原创 SparkSQL中SQL、DataFrame和DataSet方式的静态类型安全和运行时类型安全

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ https://blog.csdn.net/xiaoduan_/article/details/79751755 SQL、DataFrame和DataSet方式的静态类型安全和运行时类型安全 SQL: se...

2018-03-30 08:06:21

阅读数 250

评论数 0

原创 thriftserver/beeline/jdbc等方式连接到SparkSQL

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ https://blog.csdn.net/xiaoduan_/article/details/79730384 thriftserver/beeline、jdbc等方式连接到SparkSQL thriftserve...

2018-03-28 16:58:51

阅读数 1389

评论数 0

原创 HDFS架构的基本认知

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ https://blog.csdn.net/xiaoduan_/article/details/79687600 HDFS架构的基本认知 1 Master(NameNode/NN) 带 N个Slaves(DataNo...

2018-03-25 16:07:04

阅读数 70

评论数 0

原创 Windows报Failed to locate the winutils binary in the hadoop binary path,java.io.IOException:

版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ http://blog.csdn.net/xiaoduan_/article/details/79476815 Windows平台上运行hadoop与spark程序涉及读写操作时报空指针等错误解决方案 问题详细描...

2018-03-07 20:59:47

阅读数 1689

评论数 0

原创 单一职责原则

@(设计模式)[设计原则] 单一职责原则 定义:不要存在多于一个导致类变更的原因 一个类、方法、接口应该只负责一项职责 优点:降低类的复杂度,提高类的可读性,提高系统的可维护性,降低变更引起的风险 类级别例子:将走的鸟与飞行的鸟各自为一类 接口级别例子:课程管理接口与内容接口相互影响,应该分...

2019-07-05 22:35:58

阅读数 33

评论数 0

原创 简单工厂模式

简单工厂模式 简单工厂模式不能说是一个设计模式,说它是一种编程习惯可能更恰当些。因为它至少不是Gof23种设计模式之一。但它在实际的编程中经常被用到,而且思想也非常简单 模式定义 简单工厂模式(Simple Factory Pattern):又称为静态工厂方法(Static Factory Met...

2019-07-05 22:35:51

阅读数 89

评论数 0

原创 接口隔离原则

接口隔离原则 定义:用多个专门的接口,而不使用单一的总接口,客户端不应该依赖他不需要的接口 一个类对应一个类的依赖应该建立在最小的接口上 建立单一的接口,不要建立庞大臃肿的接口 尽量细化接口,接口中的方法尽量的少 注意适度原则,一定要适度 优点:符合我们所说的高内聚低耦合的设计思想,从而使得类...

2019-07-05 22:35:37

阅读数 43

评论数 0

原创 抽象工厂模式

抽象工厂模式 定义:抽象工厂模式(Abstract Factory Pattern)是围绕一个超级工厂创建其他工厂。该超级工厂又称为其他工厂的工厂。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。 在抽象工厂模式中,接口是负责创建一个相关对象的工厂,不需要显式指定它们的类。每个生...

2019-07-05 22:35:28

阅读数 77

评论数 0

原创 工厂方法模式

工厂方法模式 定义与类型 定义:工厂方法模式定义一个用于创建对象的接口,让子类决定实例化哪一个类。工厂方法使一个类的实例化延迟到其子类。属于创建型 适用场景 创建对象需要大量的代码 客户端不需要知道产品类型如何创建的细节 一个类通过其子类来指定创建哪个对象 优点 用户只需要关心产品所对应的工...

2019-07-05 22:35:18

阅读数 59

评论数 0

提示
确定要删除当前文章?
取消 删除