- 博客(42)
- 收藏
- 关注
原创 ROLLUP以及Cube的使用
ROLLUP 运算符生成的结果集类似于 CUBE 运算符生成的结果集。下面是 CUBE 和 ROLLUP 之间的具体区别:CUBE 生成的结果集显示了所选列中值的所有组合的聚合。 ROLLUP 生成的结果集显示了所选列中值的某一层次结构的聚合。 ROLLUP 优点: (1)ROLLUP 返回单个结果集,而 COMPUTE BY 返回多个结果集,而多个结果集会增加应用程序代码的复杂性。 (2)ROLLUP 可以在服务器游标中使用,而 COMPUTE BY 则不可以。 (3)有时,查询优
2020-08-26 11:10:24 2865
转载 hadoop三种调度类型
先来先服务(FIFO)Hadoop中默认的调度器FIFO,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新来的作业插入到队尾。一个作业运行完后,总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现,同时也减轻了jobtracker的负担。但是它的缺点也是显然的,它对所有的作业...
2019-08-21 16:38:25 705
原创 hive表增加字段更改字段注释的方法
新增字段:alter table XXXX add columns(XXXXX);修改注释:use XXX;(数据库名字)alter table xxx(表名) change xxx(要更改的列名) xxx(更改后的列名) string(更改后的类型) COMMENT'xxxxx注释’;...
2019-08-08 16:19:58 5076
转载 sql窗口函数介绍以及常用的几个功能
窗口函数可以进行排序,生成序列号等一般的聚合函数无法实现的高级操作。窗口函数也称为OLAP函数,意思是对数据库数据进行实时分析处理。窗口函数就是为了实现OLAP而添加的标准SQL功能。窗口函数语法:其中[]中的内容可以省略<窗口函数> over ([partition by <列清单>] order by <...
2019-07-29 14:24:01 1301
转载 什么是埋点?我们为什么需要埋点?(原作者:知乎 原志Growing)
一、数据流程数据生产-数据采集-数据处理-数据分析和挖掘-数据驱动/用户反馈-产品优化/迭代。数据采集,顾名思义采集相应的数据,是整个数据流的起点,采集的全不全、对不对,直接决定数据广度和质量,影响后续所有的环节。在数据采集失效性、完整性不好的公司,经常会有业务方发现数据发生的大幅度变化,追其所以时发现是数据采集的问。而另一方面,采集什么数据才能有效的得到数据分析结论,才能...
2019-07-11 16:34:53 79909
转载 数据采集与分析的那些事——从数据埋点到AB测试
一、为什么企业需要一套完善的用户行为埋点和分析平台产品初创期间,需要分析天使用户的行为来改进产品,甚至从用户行为中得到新的思路或发现来调整产品方向;产品成长过程,通过对用户行为的多角度(多维)分析、对用户群体的划分以及相应行为特征的分析和比较,来指导产品设计、运营活动,并对市场渠道效果进行评估。配合上A/B试验平台,可以加速产品的迭代,更快得到用户的真实反馈。同时,这些数据沉淀下来,对业务...
2019-07-11 16:30:23 839
转载 hive 中orc存储格式
一、ORC File文件结构 ORC的全称是(Optimized Row Columnar),ORC文件格式是一种Hadoop生态圈中的列式存储格式,它的产生早在2013年初,最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似,它并不是一个单纯的列式存储格式,仍然是首先根据行组分割整个表,在每一个行组内进行按列存储。ORC文件是自描...
2019-07-02 18:00:03 3506
转载 200道常见java知识点总结,问题+答案(转)
共包含 208 道面试题,本文的宗旨是为读者朋友们整理一份详实而又权威的面试清单,下面一起进入主题吧。Java 基础 JDK 和 JRE 有什么区别? JDK:Java Development Kit 的简称,Java 开发工具包,提供了 Java 的开发环境和运行环境。 JRE:Java Runtime Environment 的简称,Java 运行环境,为 Jav...
2019-05-11 13:51:23 168
原创 top n 问题(java)
给定一个数组,取出其中最小的K个数。适合大数据场景。package practice;import java.util.ArrayList;import java.util.Comparator;import java.util.PriorityQueue;public class Topk { public static void main(String[] ar...
2019-05-09 17:10:28 838
原创 剑指offer java实现合集(13)第61~66题
61.二叉搜索树的第K个节点借助二叉搜索树的特性import java.util.*;public class Solution { ArrayList<TreeNode> res = new ArrayList(); TreeNode KthNode(TreeNode pRoot, int k) { if(pRoot==null){...
2019-05-07 19:13:39 90
原创 剑指offer java实现合集(12)第56~60题
56.删除链表中重复的节点public class Solution { public ListNode deleteDuplication(ListNode pHead) { ListNode first = new ListNode(-1); first.next = pHead; ListNode newHead = fi...
2019-04-25 13:06:21 97
原创 剑指offer java实现合集(11)第51~55题
51.构建乘积数组借助两个数组lefts和rights,一个记录B[i]值的左乘结果A[0]*A[1]*...*A[i-1],一个记录B[i]值的右乘结果A[i+1]*A[i+2]*...*A[n-1],然后B[i]=lefts[i]*rights[i];import java.util.ArrayList;public class Solution { public int[] ...
2019-04-22 17:26:03 117
原创 剑指offer java实现合集(10)第46~50题
46.孩子们的游戏public class Solution { public int LastRemaining_Solution(int n, int m) { if(n<1||m<1){ return -1; } int num[] = new int[n]; int count ...
2019-04-22 15:44:29 164
原创 剑指offer java实现合集(9)第41~45题
41.和为S的连续正数序列滑动窗口,如果小于目标值右端则向右滑动,大于目标值,左端向右滑动import java.util.ArrayList;public class Solution { public ArrayList<ArrayList<Integer> > FindContinuousSequence(int sum) { Arra...
2019-04-22 14:29:43 108
原创 剑指offer java实现合集(8)第36~40题
36.两个链表的第一个公共节点两个链表的节点同步移动,如果走到链表尾,则继续走另外一个链表,这样当两个节点相遇时,他们都走了len(表1)+len(表2)-公共段长度public class Solution { public ListNode FindFirstCommonNode(ListNode pHead1, ListNode pHead2) { List...
2019-04-22 13:19:09 165
原创 剑指offer java实现合集(7)第31~35题
31.整数中1出现的个数相当于计算一个数中出现的个数,依次相加即可。public class Solution { public int NumberOf1Between1AndN_Solution(int n) { int count = 0; for(int i =1;i<=n;i++){ int num = get...
2019-04-22 00:25:58 131
原创 剑指offer java实现合集(6)第26~30题
26.二叉搜索树与双向链表模仿中序遍历的思路,但是这次是从右向左进行。public class Solution { TreeNode temp = null; public TreeNode Convert(TreeNode pRootOfTree) { if(pRootOfTree==null){ return null...
2019-04-21 19:46:53 85
原创 剑指offer java实现合集(5)第21~25题
21.栈的压入,弹出按照压入数组压入栈,每次对最顶的元素进行能判断,如果等于弹出数组当中的数值,则弹出,弹出数组的指针向后移动一位,当弹出数组的所有元素弹出后,如果栈为空,则说明相匹配。import java.util.ArrayList;import java.util.*;public class Solution { public boolean IsPopOrder(i...
2019-04-21 14:04:32 130
原创 剑指offer java实现合集(4)第16~20题
16.合并两个排序的链表依次比较两个链表当前节点的值,小的就插入到后年,如果有任何一条链表走到了结尾,就直接加载另外一条链表剩余的节点。注意要提前保存头结点。public class Solution { public ListNode Merge(ListNode list1,ListNode list2) { ListNode first = new Lis...
2019-04-19 20:11:17 121
原创 剑指offer java实现合集(3)第11~15题
11.二进制中1的个数这个题很有意思,用到的知识点是:任何一个数和比他小一的数相与都会减少一个1的特性。public class Solution { public int NumberOf1(int n) { int res = 0; while(n!=0){ n=n&(n-1); res++...
2019-04-18 19:16:45 97
原创 剑指offer java实现合集(2)第6~10题
6.旋转数组的最小数字这道题有两道思路,一种是常规的二分查找,也是出题人想要考察的。用最后一位和中间值比较大小,从而确定当前旋转的状态,然后逐步向下缩小范围。做法如下:import java.util.ArrayList;public class Solution { public int minNumberInRotateArray(int [] array) {...
2019-04-18 16:26:51 130
原创 java常见异常类型
Java 异常顶层父类Throwable,并实现了Serializable接口由Throwable派生出来的异常类有两种Error类和Exception类Error:错误,代表JVM本身的错误,处理程序运行环境方面的异常,不能通过代码处理。比如OutOfMemoryError、AWTErrorException:异常,程序运行时发生,可以被Java异常处理机制使用比如IOExc...
2019-04-17 15:09:35 560
原创 剑指offer java实现合集(1)第1~5题
1.二维数组中的查找因为数组是从左往右递增,从上往下递增,所以我们从左下角开始寻找,如果比目标值小就向右寻找,比目标值大就向上寻找。public class Solution { public boolean Find(int target, int [][] array) { int i = 0; int j = array.length-1;...
2019-04-16 20:09:55 173
原创 java实现排序算法,快排,堆排序,冒泡,归并排序
package practice;import java.util.Arrays;public class sortfamily { public static void main(String[]args){ int []num = {1,4,3,2,5,6,7,8,9}; sortfamily it = new sortfamily();//...
2019-04-16 15:59:17 205
原创 wps word修改目录行间距后出现空行的现象,且删除按键无效
当目录的行间距变大的时候可能会出现断层,空白的现象。方法:在前半段目录的末尾按下delete按键。
2019-04-15 15:00:15 11901 3
转载 mr二次排序 带注释
关于二次排序主要涉及到这么几个东西:在0.20.0以前使用的是setPartitionerClasssetOutputkeyComparatorClasssetOutputValueGroupingComparator在0.20.0以后使用是job.setPartitionerClass(Partitioner p);job.setSortComparatorC...
2019-04-14 15:33:48 450
转载 多角度看关系型非关系型数据库的区别
永远正确的经典答案依然是:具体问题具体分析。数据表VS.数据集关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要...
2019-04-05 17:26:06 289
转载 对实体 "useSSL" 的引用必须以 ';' 分隔符结尾。
今天在定义数据源的时候,在配置context.xml文件时,连接mysql数据库的url一行发生错误,报错:“对实体 "useSSL" 的引用必须以 ';' 分隔符结尾”。以下是我配置数据源的代码:<Resource name="jdbc/BookDB" auth="Container" type="javax.sql.DataSource"username="root"pass..
2019-01-29 14:59:24 1933 1
转载 接口和抽象类的区别
接口与抽象类的区别:1 两者表达的概念不一样。抽象类是一类事物的高度聚合,与子类的关系属于“是”的关系;而接口是定义行为规范,因此对于实现接口的子类来说,相对于接口来说,是“行为需要按照接口来完成”。2 抽象类在定义类型方法的时候,可以给出方法的实现部分,也可以不给出;而对于接口来说,其中所定义的方法都不能给出实现部分。3 继承类对于两者所涉及方法的实现是不同的。继承类对于抽象类所定义...
2019-01-22 17:46:30 96
原创 linux 命令行出现-bash-4.2$的解决办法
输入这两句话,然后关闭终端,重新登录一下就好了cp /etc/skel/.bashrc /root/cp /etc/skel/.bash_profile /root/同样的方法,如果是非root而是某用户,就把目标路径换成相对应的用户路径即可。这两个文件通常在建立用户目录是自动添加,如果是你手动创建文件夹在/etc/passwd指定目录也会出现该错误。...
2019-01-15 16:43:55 33116 4
原创 滴滴数据开发实习面试经历
又到了同学们找实习的季节,回顾下之前找实习的面试经历。1.自我介绍,问了下在校成绩,为何跨专业考研,有过多少开发经验。2.项目经历,业务逻辑,这里问的比较细,为什么这样做,这样做的好处是什么。写了三个项目,重点问了两个,20分钟3.java基础。set,list,map的区别,hashmap,hashtable区别,垃圾回收机制。4.SQL语句掌握情况,先问了下group by ,...
2018-12-23 16:22:02 1328 1
原创 一行命令解决虚拟机克隆后不能连接网络的问题
克隆虚拟机后,所有的虚拟机都无法上网。输入ip addr指令,显示没有ip地址。在网上找到的很多方法,大多是重新生成MAC,设置ip配置文件等。重新打开网络服务多次,依然没有效果。打开虚拟机图形界面,发现虚拟机(centos7)右上角的连接图标消失,进入设置,找网络配置项,依然没有本地连接选项。 最后在网上找到了这样一行代码mv /var/lib/NetworkMana...
2018-12-21 15:16:17 3197 2
转载 linux升级JDK及配置环境(转)
不需要删除旧的jdk,安装新版本的jdk,再更新环境变量即可。Linux下安装jdk,步骤如下 1:下载jdk包:本章使用的为后缀为tar.gz的文件(不需要安装),如jdk-8u111-linux-x64.tar.gz 2: 把jdk文件保存至Linux下目录:通过控制台,使用mkdir命令生成usr/java目录,并把文件放入其下 3:解压tar.gz文件:通过控制...
2018-12-19 15:49:01 278 1
原创 linux以时间为文件名建立文件夹
每天上班都要建立一个文件夹来保存一天的工作数据。创建的指令是这样的mkdir $(date +%Y%m%d)这样建立的文件夹名字就是20181219 为了更简便,可以创建Xshell的快捷指令在指令栏直接创建该指令,中间用;分割mkdir wytest/wytest$(date +%Y%m%d);cd wytest/wytest$(date +%Y%m%d) ...
2018-12-19 14:12:21 4169 1
转载 hive的事务支持
背景介绍在0.13.0版本之前,hive只能进行块级事务的操作,由于hive是基于HDFS的操作,所以都是以块为单位进行存储继0.13.0版本之后,hive开始支持事务处理,也就是说hive可以支持以行为单位的原子性操作,以及具有acid的特性(atmoic原子性 consistency 一致性 isolation 隔离性 durability 永久性) hive配置...
2018-12-13 15:23:14 2735
转载 StringTokenizer的使用方法
1. 构造函数。1. StringTokenizer(String str) :构造一个用来解析str的StringTokenizer对象。java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’)”。2. StringTokenizer(String str, String delim) :构造一个用来解析str的StringTokenizer对...
2018-12-13 11:03:27 656
转载 linux解压指令gz、tar、zip、bz2。
gzip 压缩后的格式为:*.gz 这种压缩方式不能保存原文件;且不能压缩目录 命令举例:#压缩[root@localhost tmp]# gzip buodo[root@localhost tmp]# lsbuodo.gz#解压[root@localhost tmp]# gunzip buodo.gz[root@localhost tmp]# lsb...
2018-12-11 10:30:36 341
原创 &和nohup的介绍,运用和区别
某次运行一个需要运行很久的MR,使用nohup指令,可以后台不挂起运行程序,结果可以保存到本地。 使用场景:显示所有在集群上的进程yarn application --list | grep xxx杀掉已经运行进程,把原本开的MR程序关掉 yarn application -kill application_1540343976274_8252 yarn appli...
2018-12-03 10:35:09 373
转载 Map.Entry 类使用简介
你是否已经对每次从Map中取得关键字然后再取得相应的值感觉厌倦?使用Map.Entry类,你可以得到在同一时间得到所有的信息。标准的Map访问方法如下:Set keys = map.keySet( );if(keys != null) {Iterator iterator = keys.iterator( );while(iterator.hasNext( )) {Object ke...
2018-11-05 14:56:38 152
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人