weixin_47880716的博客

今天听了一下大树老师的公开课，关于一致性hash算法，记录一下当我们数据多时，我们就要用到集群，分布式，为了缓解数据库的压力，这时候我们会用到缓存，比如redis就是一个很好的缓存中间件为了能让数据均衡的分布，我们可以用hash值 取余 的方式达到分布均衡，简单而且高效。但也有一个问题就是如果我们需要在加一个节点呢，就会数据缓存命不中，从而增加数据库压力，甚至导致崩溃。（缓存雪崩）比如原本有三个节点，我们加一个节点进去，就会造成 3/4 的缓存失效，同样如果是4 个节点，增加一个就会造成 4/5

AVL树AVL树的特点继承关系添加导致的失衡LL - 右旋转（单旋）RR - 左旋转（单旋）LR - RR左旋转，LL右旋转（双旋）RL - LL右旋转，RR左旋转（双旋）代码实现AVLTree补充说明总结AVL树是最早发明的自平衡二叉搜索树之一AVL树的特点平衡因子（Balance Factor）：某节点的左右子树的高度差每个节点的平衡因子只有可能是 1，0，-1（绝对值 小于 1 ，称为 “失衡”）每个节点的左右子树高度差不超过 1搜索，添加，删除的时间复杂度是 O(logn)继承关

二叉树树的基本概念有序树，无序树，森林二叉树二叉树的性质真二叉树（Proper Binnary Tree）满二叉树（Full Binary Tree）完全二叉树（Complete Binary Tree）完全二叉树的性质二叉树的遍历练习利用前序遍历树状打印二叉树翻转二叉树计算二叉树的高度判断一棵树是否为完全二叉树前驱节点（predecessor）后继节点（successor）树的基本概念二叉树是树形结构多叉树生活中使用树形结构可以大大提高效率节点根节点（最上面的一个节点，上图的 ：1

思考设想在 n 个动态的整数中搜索某个整数？假设使用动态数组存放元素，从第 0 个位置开始遍历搜索，平均时间复杂度：O(n)而维护一个有序的动态数组，使用二分搜索，最坏时间复杂度：O(logn)，但是添加，和删除的平均时间复杂度是 O(n)所以针对这个需求，我们可以使用二叉搜索树，添加，删除，搜索的最坏时间复杂度均可优化至：O(logn)二叉搜索树（Binary Search Tree）二叉搜索树是二叉树的一种，是应用非常广泛的一种二叉树，英文简称 BST又被称为：二叉查找树，二叉排序

目录parallelizemakeRDDtextFilefiltermapflatMapdistinctunionintersectionsubtractcartesianmapToPairflatMapToPaircombineByKeyreduceByKeyfoldByKeySortByKeyparallelize调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试scala版本def paralle

目录队列（Queue）队列的接口设计练习：用栈实现队列双端队列（Deque）接口设计循环队列（Circle Queue）循环双端队列%运算符优化队列（Queue）队列是一种特殊的线性表，只能在头尾两端进行操作队尾（rear）：只能从队尾添加元素，一般叫做offer，入队对头（front）：只能从队头移除元素，一般叫做poll，出队先进先出的原则，First In First Out ， FIFO队列的接口设计int size(); //元素的数量boolean isEmpty();

目录栈（Stack）栈的接口设计栈（Stack）栈是一种特殊的线性表，只能在一端进行操作往栈中添加元素的操作，一般叫做push，入栈从栈中移除元素的操作，一般叫做pop，出栈（只能移除栈顶元素，也叫做：弹出栈顶元素）后进先出的原则，Last In First Out , LIFO注意这里的"栈"与内存中的"栈空间"是两个不同的概念栈的接口设计int size(); //元素的数量...

目录match表达式样例类的模式匹配非样例类的模式匹配偏函数注解（Annotation）运算符正则表达式隐式类Scala异常处理高级类型Scala集成Java APImatch表达式类似Java switch语句能处理类型所有类型不需要break能够生成值val firstArg=if(args.length>0) args(0) else ""firstArg match{ case "salt" => println("pepper") case "chip

类类通过class关键字定义类通过new关键字创建实例类拥有成员变量和方法类的成员默认为public，也支持private，protected**类中无法定义静态成员变量和方法**类无需明确定义构造方法，通过构造参数列表声明为类的一部分1）基本语法[修饰符] class 类名 {类体}说明（1）Scala语法中，类并不声明为public，所有这些类都具有公有可见性（即默认就是public）（2）一个Scala源文件可以包含多个类构造器和Java一样，Scala构造对象也需要

函数是Scala的核心函数定义：def 函数名([参数列表]):[返回值]={函数体return [表达式]}def square(x: Int): Int = { println(x) x * x //return}def sayHello(x:String):Unit={ println("Hello ! "+x)}参数传递1.传值调用（call-by-value）def square(x: Int): Int = { p.

目录键盘录入流程控制分支控制 if-else单分支双分支多分支嵌套分支switch 分支结构for 循环tountil循环守卫循环步长嵌套循环引入变量循环返回值while循环do...while 循环多重循环while 循环中断键盘录入1）基本语法StdIn.readLine()、StdIn.readShort()、StdIn.readDouble()2）案例实操import scala.io.StdInobject TestInput { def main(args: Array[

目录链表链表的设计接口设计清空元素添加元素node方法用于获取index位置的节点删除元素 - remove(int index)SingleLinkedList代码推荐一个神奇的网站双向链表双向链表 VS 动态数组单向循环链表双向循环链表链表动态数组有个明显的缺点：可能会造成内存空间的大量浪费。能否用多少就申请多少内存，链表就可以办到这一点链表是一种链式存储的线性表，所有元素的内存地址不一定是连续的链表的设计接口设计链表的大部分接口和动态数组是一致的。把不需要修改的方法写一个父类用来

1.下载spark地址http://spark.apache.org/downloads.html2.把下载好的压缩包拖拽到虚拟机的software（自己建的）目录下3.进入到software目录里面把压缩包解压到 /opt 目录下cd /softwaretar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/4.进入opt目录里面将安装好的spark改名cd /optmv spark-2.4.5-bin-hadoop2.6 spark2455.

Array（集合、序列）++++：+：和 :+/: 和 :\addStringaggregateapplycanEqualcharAtclonecollectcollectFirstcombinationscontains 和 containsSlicecopyToArraycopyToBuffercorrespondscountdiffdistinctdropdropRightdropWhileendsWithexistsfilterfilterNotfindflatMapflattenfoldfoldL

目录什么是数据结构线性表数组动态数组接口设计基本功能代码及实现泛型对象数组内存管理细节null的处理什么是数据结构数据结构是计算机存储，组织数据的方式线性结构：线性表（数组，链表，栈，列队，哈希表（数组））树形结构：二叉树（AVL树，红黑树，B树，堆，Trie，哈夫曼树，并查集）图形结构：邻接矩阵，邻接表线性表线性表是具有n个相同类型元素的有限序列（n>=0）a1 是首节点（首元素），an是尾节点（尾元素）a1是a2的前驱，a2是a1的后继数组数组是一种顺序存储的线性表，所有

目录什么是算法斐波那契(fibonacci number)如何判断一个算法的好坏大O表示法（Big O）对数阶的细节常见的复杂度斐波那契函数的时间复杂度分析斐波那契的线性代数解法-特征方程F算法的优化方向多个数据规模的情况什么是算法算法是用于解决特定问题的一系列的执行步骤//计算a跟b的和public static int plus(int a,int b){ return a+b;}//计算1+2+3+...+n的和public static int sum(int n){ int

目录第1章 hive入门1.1 什么是hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模第2章 Hive 安装2.1 Hive 安装部署2.2 将本地文件导入Hive案例2.3 MySql安装2.4.1 安装包准备2.4.2 安装MySql服务器2.4.3 安装MySql客户端2.4.4

目录第一章 Sqoop简介第二章 Sqoop的原理第三章Sqoop安装3.1下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动验证Sqoop3.5测试Sqoop是否能够成功链接数据库第四章 Sqoop的简单使用案列4.1导入数据4.1.1RDBMS到HDFS4.1.2 RDBMS 到 Hive4.1.3 RDBMS 到 Hbase4.2 导出数据4.2.1 HIVE/HDFS到RDBMS4.3 脚本打包第五章 Sqoop 一些常用的命令及参数5.1 常用命令列举5.2命令&参数详解5.2.1

一.Table传统数据库一个表的结构如下姓名年龄性别成绩wuyifan18man100john20man98转换成HBase数据库的表结构就如下所示infoscoreRow_keyinfo:name ，info:age ，info:sexscore:name， score:score//创建表和列族//create 'school','info','score'//==创建列族中的列和数据//put 's

Hbase权限控制简介 Hbase的权限控制是通过AccessController Coprocessor协处理器框架实现的，可实现对用户的RWXCA的权限控制。配置：hbase-site.xml<property> <name>hbase.security.authorization</name> <value>true</value></property><property> <name&