尼克不可的博客

Spark SQL JOIN 异常问题调优(Hint方式)1.大表关联小表 (显式广播小表)在SQL中加入广播的提示示例：-- test_table_a row_count=1000W-- test_table_b row_count=500SELECT /*+ BROADCAST(t2) */ t1.id ,t2.nameFROM test_table_a t1LEFT JOIN test_table_b t2 ON t1.id = t2.id这里的 /*+ BROAD

Spark RDD JOIN 调优一、 大表关联小表1. 小表数据量非常小时一般当副表的数据比较小时，可以考虑将这部分的小表数据直接加载到内存中，如加工成为一个Map 结构的对象，在使用的时候将这个对象广播到各个Executor中。在广播时需要注意广播的这个数据集的大小，如果太大就会得不偿失，因为广播的实质其实就是把同一份数据集对象复制多份，然后通过序列化的方式将数据集分发到各个Executor中，所以如果集合太大那么会占用过多的网络带宽和内存。在使用广播变量的时候还需要注意，如果直接在一个ma

文章向导实现链表实现循环队列源代码：实现链表代码实现创建一个链表节点连接两个链表节点打印链表的结构图遍历每个链表节点遍历每个链表节点的值实现循环队列代码实现初始化一个循环队列向队列中添加元素遍历队列中的元素值打印队列结构图弹出队列的头部元素压入元素超出队列的设定容量时自动弹出头部元素利用循环队列实现窗口滑动计算源代码：class LinkedList(object):

一、造数据DROP TABLE IF EXISTS sc;CREATE TABLE sc ( stu_no VARCHAR(4) COMMENT '学号', class_no VARCHAR(4) COMMENT '课程号', grade INT(2) COMMENT '成绩' );DROP TABLE IF EXISTS class;CREATE TABLE class ( class_no VARCHAR(4) COMMENT '课程号', class_

文章向导一、造数据二、查看数据结构三、需求（计算出数据中每个用户的最长连续访问年数）一、造数据DROP TABLE IF EXISTS CSDN_TEST;CREATE TABLE CSDN_TEST ( user_id CHAR(4) COMMENT '用户id', access_year INT(4) COMMENT '访问年');INSERT INTO CSDN_TEST VALUES ('0001',1999),('0002',1999),('0001',2000),('00

Redis快速入门指南一、redis 安装与配置进入官网复制下载地址官网地址进入终端使用命令下载rediswget http://download.redis.io/releases/redis-6.0.1.tar.gz进入文件下载的目录解压压缩包tar -zxvf redis-6.0.1.tar.gz -C ./# 创建一个软连接ln -s redis-6.0.1 redis```进入解压后的目录使用make命令进行编译make MALLOC=lib

前言:作为一名程序猿，大家应该或多或少都听过快速排序的大名，可能很多小伙伴最初接触到快排的时候是在数据结构的课上。当时课上可能恍恍惚惚的听懂了，但是后面又没下来继续钻研，就又把这个知识点还回去了，其实快排真的没有想象中的那么难，本文将先从思路较为简单的递归入手，然后再利用非递归的方式实现快速排序。好了，进入今天的主题吧。文章向导一、快速排序的原理二、使用递归实现快排算法三、非递归方式实现(拓展)*四、时间复杂度分析一、快速排序的原理分区分区是快排中一个非常重要的环节，快排将从数组中间位置作为分

文章导向：一、常见的交换两个变量的方法二、什么是异或？三、使用异或的方式交换变量一、常见的交换两个变量的方法使用临时变量的方法这个方法应该是大家喜闻乐见的方式，也是最常用最容易想到的。刚踏入编程世界的小伙伴肯定一来就最先是接触这种方法，先看代码吧：#include<iostream>using namespace std;int main(){ int a=5; int b=15; int temp=0; temp = a; a = .

前言:说起来C++还真是一门神奇的语言，就像你的GirlFriend一样晦涩难懂，你永远不知道下一秒她的心情会是什么样的，不过好在C++它终究还是一门编程语言，工具毕竟是死的，既然是死的那就好办了，总有方法来对付它。当你点进这篇文章或许是正带着疑惑而来的，或者曾碰到过结构体的大小飘忽不定不知道怎么计算，又或许你还没有遇到过这样的问题，不过也没关系所谓未雨绸缪也不是一件坏事，今天就来给大家讲一下C...

一、定义1、字面含义来看什么是zookeeper，zookeeper从其单词的字面意思来看就是动物园管理员的意思，为什么要这样起名字呢，其实也跟这些组件有关；就hadoop而言最初名字的来源是作者的孩子有一个名为hadop的大象玩具，刚好这个单词呢也很符合容易记住的特点，然后就以它为hadoop的名字了，后面呢一系列的大数据组件都效仿，都以动物的方式进行命名，然后就有了我们的动物园（Hadoo...

前言:Pyplot 是python中matplotlib一个强大的绘图工具,它是其内部一个简单的面向函数式的API,应付平时工作当中简单的绘图工作,其实也不能说其绘制的图比较简单,它也能应付很多复杂的图表,当然没有其另一个面向对象的API这么个性化,但是也可以应付大多数工作了,下图便是用Pyplot绘制出来的图.刚好最近在做机器学习方面的学习,对于模型的评估会用到绘图,这里就整理了一下常见的一些用...

前言:关于如何配置mysql,在博主往期的文章中已经讲过,如果还有小伙伴配置mysql有什么问题的话可以参照博主的这篇文章MySQL环境配置,然后今天呢,在这里记录一下MySQL的一些常见用法,也好给大家提供一个便利,闲话不多说,下面步入正题:1.启动与关闭MySQL服务# 启动 mysql 的两种方式sudo service start mysql# 或者:sudo /etc/init...

Spark RDD 学习导入pysparkimport pyspark初始化SparkContextsc = pyspark.SparkContext(master="local[*]",appName="test1")RDD Transform算子将一个列表构建成一个rddrdd1 = sc.parallelize([1,2,3,4,5])收集并显示rdd中的数据rdd1...

前言：点开这篇文章相信你可能已经对KMP算法有了一些了解，当然不了解也没有什么，我们今天就来细说一下什么是KMP算法，让你真正意义上的了解这个算法的原理与应用；一、什么是KMP算法KMP 算法 全称为（Knuth-Morris-Pratt），就是一种改进的字符串匹配算法，最先由由D.E.Knuth，J.H.Morris和V.R.Pratt提出的，它的出现无疑给字符串匹配带来了春天。其实KM...

一、什么是树？这样的？，是它也是树，只不过是现实生活中的树罢了，只要学过编程的都知道在，计算机的世界里也有树，树在计算机里是这样的树根，因为看得出来它是从上往下延申的，树在计算机中的用途也很广泛，什么排序啊，查找啊，索引，…… 当然查找搜索还是用得最多的。看看树的官方定义：树是由根结点和若干颗子树构成的。树是由一个集合以及在该集合上定义的一种关系构成的。集合中的元素称为树的结点，所定义...