- 博客(24)
- 收藏
- 关注
RSS订阅
原创 MySQL DML语句整理
DML操作是指对数据库中表记录的操作，主要包括表记录的插入（insert）、更新（update）、删除（delete）和查询（select），是开发人员日常使用最频繁的操作。1.插入(insert)格式1.INSERT INTO emp(ename,hiredate,sal,deptno) VALUES('zzx1','2000-01-01','2000',1);格式2.INSERT ...
2019-04-02 21:55:49
9533
原创 工厂模式简单实现
Factory Method 工厂方法模式——定义一个用于创建对象的接口，让子类决定将哪一个类实例化。Factory Method使一个类的实例化延迟到其子类。代码实现:package factory;public class Fruit { private String name; private String color; public String getName() { ...
2019-04-29 15:18:44
178
原创 顺序查找与二分查找解析
顺序查找非常简单示例1：在成绩中查询分数是100的第一个分数 99 86 59 63 49 100 99 78for(int i =0 ;i<a.lenth;i++){ if(a[i])==100){ return i; } }示例2：在学生中查询分数是100的第一个学生存储结构可以是顺序表，也可以是链表。逐个比较查询，如果找到...
2019-04-28 16:59:57
681
原创 常用算法排序比较
先看图:1.直接插入排序、简单选择排序、冒泡排序是最简单的三种排序算法，时间复杂度也最高O（n2），作为基础排序，面试中有被问到，三种都要掌握。2.三种简单排序算法简单，但是效率低下；高级排序在简单排序基础上优化，算法复杂，换取的是性能提高，同时可能需要更多的辅助空间。3.快速排序和归并排序都使用了分治和递归，所以面试时被问到的机会比较高，尤其是快速排序。4.从时间性能上看，快速排序是所有...
2019-04-26 16:21:13
204
原创 hive小结之内部表与外部表
内部表:平时创建的普通表即为内部表语句:create table `test1` (id string , name string )ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;外部表:带external关键字的为外部表语句:create external table `test_external` (id string,...
2019-04-25 13:04:43
202
原创 归并排序的那点事
归并排序（MERGE-SORT）是利用归并的思想实现的排序方法，该算法采用经典的分治（divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案"修补"在一起，即分而治之)。从下往上的归并排序：将待排序的数列分成若干个长度为1的子数列，然后将这些数列两两合并；得到若干个长度为2的有序数列，再将这...
2019-04-24 12:50:36
237
原创 关于二叉树的那些事
二叉树简介树（tree）是一种抽象数据类型（ADT），用来模拟具有树状结构性质的数据集合。它是由n（n>0）个有限节点通过连接它们的边组成一个具有层次关系的集合。把它叫做“树”是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。二叉树：是每个结点最多有两个子树的有序树，在使用二叉树的时候，数据并不是随便插入到节点中的，一个节点的左子节点的关键值必须小于此节点，右子节点的关键值...
2019-04-17 08:49:59
359
原创 冒泡排序详解
冒泡排序的实现:/** 功能：数组排序（无序数组-----有序数组） 排序算法很多，冒泡排序，选择排序，插入排序，是三种最基本最简单的排序算法，效率最低 技能：冒泡排序 冒泡排序的算法 * 1.整个数列分成两部分：前面是无序数列，后面是有序数列 * 2.初始状态下，整个数列都是无序的，有序数列是空 * 3.如果一个数列有n个元素，则至多需要n-1趟循环才能保证数列有...
2019-04-16 12:56:33
212
原创 hadoop案例java代码实现
今天手写一个hadoop的案例:需求:找出每个月气温最高的2天思路:记录特点每年每个月最高2天1天多条记录？进一步思考年月分组温度升序key中要包含时间和温度！MR原语：相同的key分到一组通过GroupCompartor设置分组规则自定义数据类型Weather包含时间包含温度自定义排序比较规则自定义分组比较年月相同被视为相同的key那么reduce迭代...
2019-04-14 21:33:56
2477
原创 java操作HDFS代码实现
自己做的一些小训练0.0public class HDFSDemo { private Configuration conf; private FileSystem fs; @Before public void before() throws Exception { //初始化,加载hadoop默认的配置文件,如果有指定的位置,则覆盖默认的配置 conf=new Con...
2019-04-11 21:12:28
386
原创 浅谈MapReduce作业提交流程
YARN：解耦资源与计算ResourceManager主，核心集群节点资源管理NodeManager与RM汇报资源管理Container生命周期计算框架中的角色都以Container表示Container：【节点NM，CPU,MEM,I/O大小，启动命令】默认NodeManager启动线程监控Container大小，超出申请资源额度，kill支持Linux内核的CgroupM...
2019-04-11 13:00:57
272
原创 谈一下有关MapReduce的工作流程
废话少说,先来张图看看:Map：1、根据业务需求处理数据并映射为KV模型2、并行分布式3、计算向数据移动Reduce：1、数据全量/分量加工2、Reducer中可以包含不同的key3、相同分区的Key汇聚到一个Reducer中4、 ”相同”的Key调用一次reduce方法5、排序和比较实现key的汇聚K,V使用自定义数据类型:1、节省开发成本，提高程序自由度2、框架会对键...
2019-04-11 12:53:56
213
原创 HA集群搭建
搭建HA集群：1、zookeeper集群搭建a) 将zookeeper.tar.gz上传到node2、node3、node4b) 解压到/opttar -zxf zookeeper-3.4.6.tar.gz -C /optc) 配置环境变量：export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.6export PATH=$ PATH:$ ZOOKEEP...
2019-04-09 20:25:56
199
原创 hadoop 3.X新特性
总结一下hadoop3版本的新特性,方便以后工作时学习应用.1.java版本更新将默认的最低jdk从7升到了82.纠删码可以将3倍副本占据的空间压缩到1.5倍,并且依旧保持3倍的容错.但是在读取数据的时候需要进行额外的计算,因此适用于储存不频繁使用的数据.3.YARN中的资源类型通过扩展YARN的资源类型,支持cpu和内存之外的其它资源,如GPU,FPGA,软件许可证,本地存储等.4...
2019-04-08 20:08:24
273
原创 Hadoop完全分布式搭建
1、node1,2,3,4做免密钥登录2、安装和配置jdk3、解压hadoop-2.6.5.tar.gz到/opt目录4、在hadoop-env.sh中第25行配置export JAVA_HOME=/usr/java/jdk1.7.0_675、slaves，三个datanode所在的位置主机名称:node2node3node46、core-site.xml< config...
2019-04-08 19:17:28
127
原创 Hadoop中关于datenode无法启动的解决办法
今天自己闲来无事想搭建个Hadoop来玩玩,结果搭建完成后怎么都启动不了datanode.查看了一下VERSION中的clusterID,发现namenode的和datanode的clusterID不同.想来是因为自己多次执行了hdfs namenode -format语句,而每次执行这条语句namenode就会生成一条新的clusterID,但是datanode并不会重新生成,而是保持原来的不变...
2019-04-08 19:06:39
1428
1
转载 HDFS数据存储模式
Hadoop中HDFS的存储机制HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念，然后介绍HDFS中读写操作的过程，最后分析了HDFS的优缺点。1. HDFS中的基础概念Block：HDFS中的存储单元是每个数据块block，HDFS默认...
2019-04-08 16:23:40
7508
原创 一分钟带你熟练掌握选择排序算法
简单选择排序的算法第一趟，从 n 个元素中找出关键字最小的元素与第一个元素交换；第二趟，在从第二个元素开始的 n-1 个元素中再选出关键字最小的元素与第二个元素交换；如此，第 k 趟，则从第 k 个元素开始的 n-k+1 个元素中选出关键字最小的元素与第 k 个元素交换，直到整个序列按关键字有序.如图所示:代码实现:public static void seSort(int[] a...
2019-04-07 16:08:46
209
原创 Hadoop伪分布式搭建步骤
1、搭建虚拟机1台2、网络配置好，关闭iptables防火墙，关闭selinux3、jdk1.7.0_80hadoop-2.6.5.tar.gz上传这两个包4、安装jdkrpm -ivh jdk-7u80-linux-x64.rpm5、编辑vi /etc/profile添加两行记录：export JAVA_HOME=/usr/java/jdk1.7.0_80export PAT...
2019-04-07 13:03:13
313
原创 插入排序的那些事
直接插入排序的算法直接插入排序基本思想是：仅有一个元素的序列总是有序的，因此，对 n 个记录的序列，可从第二个元素开始直到第 n 个元素，逐个向有序序列中执行插入操作，从而得到 n 个元素按关键字有序的序列。一般来说，在含有 j-1 个元素的有序序列中插入一个元素的方法是：从第 j-1 个元素开始依次向前搜索应当插入的位置，并且在搜索插入位置的同时可以后移元素，这样当找到适当的插入位置时即可...
2019-04-04 16:20:19
151
原创 快速排序暴力解析
快速排序是冒泡排序的改进版，也是最好的一种内排序，还涉及到分治和递归，在很多面试题中都会出现，也是作为程序员必须掌握的一种排序方法。过程解析:第一趟排序:具体运行简析:首先使用两个指针low 和high分别指向待排序的数组的两界,即arr[0]和arr[arr.length-1],然后我们可以将arr[0]作为一个基准值,即int p=arr[0].首先我们从high指针开始,逐步向前搜...
2019-04-03 21:30:27
450
原创 有关装饰者模式的两三事
举例:蛋糕店 能够生产格式各样的蛋糕蛋糕分为 三种 : 奶油蛋糕 ,巧克力蛋糕, 冰淇淋蛋糕然后再上面可以添加 鲜花 水果 贺卡 干果 饼干…不同的人可以定做不同的蛋糕,有不同的选项蛋糕店用不用将所有选项的排列组合的蛋糕都准备一遍???没有必要!!!蛋糕制作接口: abstract class Cake{ public abstract void make(); ...
2019-04-03 20:51:30
294
原创 逆波兰表达式的简析
百度词条定义逆波兰表达式又叫做后缀表达式。在通常的表达式中，二元运算符总是置于与之相关的两个运算对象之间，这种表示法也称为中缀表示。波兰逻辑学家J.Lukasiewicz于1929年提出了另一种表示表达式的方法，按此方法，每一运算符都置于其运算对象之后，故称为后缀表示。后缀表达式求值:从左至右扫描表达式，遇到数字时，将数字压入堆栈，遇到运算符时，弹出栈顶的两个数，用运算符对它们做相应的计算（...
2019-04-02 20:35:51
712
原创 关于代理模式的那些事
代理(Proxy)模式:代理模式是一种设计模式,其提供了对目标对象的另外的访问形式,由代理对象控制对原对象的引用.(有序类似于我们生活中的中介的意味)举例说明,就像经纪人与明星的关系.我们如果想要邀请一位明星,可以通过找其经纪人来实现目的,明星只需负责表演即可,而其它琐事都可由经纪人代理完成.代理对象是对目标对象的扩展,并会调用目标对象.静态代理:静态代理在使用时需要定义接口或父类,然...
2019-04-02 19:46:50
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人