- 博客(42)
- 收藏
- 关注
RSS订阅原创 ROLLUP以及Cube的使用
ROLLUP 运算符生成的结果集类似于 CUBE 运算符生成的结果集。下面是 CUBE 和 ROLLUP 之间的具体区别：CUBE 生成的结果集显示了所选列中值的所有组合的聚合。 ROLLUP 生成的结果集显示了所选列中值的某一层次结构的聚合。 ROLLUP 优点： （１）ROLLUP 返回单个结果集，而 COMPUTE BY 返回多个结果集，而多个结果集会增加应用程序代码的复杂性。 （２）ROLLUP 可以在服务器游标中使用，而 COMPUTE BY 则不可以。 （３）有时，查询优
2020-08-26 11:10:24
2845
转载 hadoop三种调度类型
先来先服务（FIFO）Hadoop中默认的调度器FIFO，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。FIFO比较简单，hadoop中只有一个作业队列，被提交的作业按照先后顺序在作业队列中排队，新来的作业插入到队尾。一个作业运行完后，总是从队首取下一个作业运行。这种调度策略的优点是简单、易于实现，同时也减轻了jobtracker的负担。但是它的缺点也是显然的，它对所有的作业...
2019-08-21 16:38:25
696
原创 hive表增加字段更改字段注释的方法
新增字段：alter table XXXX add columns(XXXXX);修改注释：use XXX;(数据库名字)alter table xxx（表名） change xxx(要更改的列名) xxx(更改后的列名) string(更改后的类型) COMMENT'xxxxx注释’;...
2019-08-08 16:19:58
5031
转载 sql窗口函数介绍以及常用的几个功能
窗口函数可以进行排序，生成序列号等一般的聚合函数无法实现的高级操作。窗口函数也称为OLAP函数，意思是对数据库数据进行实时分析处理。窗口函数就是为了实现OLAP而添加的标准SQL功能。窗口函数语法：其中[]中的内容可以省略<窗口函数> over ([partition by <列清单>] order by <...
2019-07-29 14:24:01
1289
转载 什么是埋点？我们为什么需要埋点？（原作者：知乎 原志Growing）
一、数据流程数据生产-数据采集-数据处理-数据分析和挖掘-数据驱动/用户反馈-产品优化/迭代。数据采集，顾名思义采集相应的数据，是整个数据流的起点，采集的全不全、对不对，直接决定数据广度和质量，影响后续所有的环节。在数据采集失效性、完整性不好的公司，经常会有业务方发现数据发生的大幅度变化，追其所以时发现是数据采集的问。而另一方面，采集什么数据才能有效的得到数据分析结论，才能...
2019-07-11 16:34:53
77687
转载 数据采集与分析的那些事——从数据埋点到AB测试
一、为什么企业需要一套完善的用户行为埋点和分析平台产品初创期间，需要分析天使用户的行为来改进产品，甚至从用户行为中得到新的思路或发现来调整产品方向；产品成长过程，通过对用户行为的多角度（多维）分析、对用户群体的划分以及相应行为特征的分析和比较，来指导产品设计、运营活动，并对市场渠道效果进行评估。配合上A/B试验平台，可以加速产品的迭代，更快得到用户的真实反馈。同时，这些数据沉淀下来，对业务...
2019-07-11 16:30:23
820
转载 hive 中orc存储格式
一、ORC File文件结构 ORC的全称是(Optimized Row Columnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描...
2019-07-02 18:00:03
3497
转载 200道常见java知识点总结，问题+答案（转）
共包含 208 道面试题，本文的宗旨是为读者朋友们整理一份详实而又权威的面试清单，下面一起进入主题吧。Java 基础 JDK 和 JRE 有什么区别？ JDK：Java Development Kit 的简称，Java 开发工具包，提供了 Java 的开发环境和运行环境。 JRE：Java Runtime Environment 的简称，Java 运行环境，为 Jav...
2019-05-11 13:51:23
163
原创 top n 问题（java）
给定一个数组，取出其中最小的K个数。适合大数据场景。package practice;import java.util.ArrayList;import java.util.Comparator;import java.util.PriorityQueue;public class Topk { public static void main(String[] ar...
2019-05-09 17:10:28
829
原创 剑指offer java实现合集（13）第61~66题
61.二叉搜索树的第K个节点借助二叉搜索树的特性import java.util.*;public class Solution { ArrayList<TreeNode> res = new ArrayList(); TreeNode KthNode(TreeNode pRoot, int k) { if(pRoot==null){...
2019-05-07 19:13:39
84
原创 剑指offer java实现合集（12）第56~60题
56.删除链表中重复的节点public class Solution { public ListNode deleteDuplication(ListNode pHead) { ListNode first = new ListNode(-1); first.next = pHead; ListNode newHead = fi...
2019-04-25 13:06:21
89
原创 剑指offer java实现合集（11）第51~55题
51.构建乘积数组借助两个数组lefts和rights，一个记录B[i]值的左乘结果A[0]*A[1]*...*A[i-1]，一个记录B[i]值的右乘结果A[i+1]*A[i+2]*...*A[n-1]，然后B[i]=lefts[i]*rights[i];import java.util.ArrayList;public class Solution { public int[] ...
2019-04-22 17:26:03
107
原创 剑指offer java实现合集（10）第46~50题
46.孩子们的游戏public class Solution { public int LastRemaining_Solution(int n, int m) { if(n<1||m<1){ return -1; } int num[] = new int[n]; int count ...
2019-04-22 15:44:29
160
原创 剑指offer java实现合集（9）第41~45题
41.和为S的连续正数序列滑动窗口，如果小于目标值右端则向右滑动，大于目标值，左端向右滑动import java.util.ArrayList;public class Solution { public ArrayList<ArrayList<Integer> > FindContinuousSequence(int sum) { Arra...
2019-04-22 14:29:43
103
原创 剑指offer java实现合集（8）第36~40题
36.两个链表的第一个公共节点两个链表的节点同步移动，如果走到链表尾，则继续走另外一个链表，这样当两个节点相遇时，他们都走了len(表1)+len(表2)-公共段长度public class Solution { public ListNode FindFirstCommonNode(ListNode pHead1, ListNode pHead2) { List...
2019-04-22 13:19:09
141
原创 剑指offer java实现合集（7）第31~35题
31.整数中1出现的个数相当于计算一个数中出现的个数，依次相加即可。public class Solution { public int NumberOf1Between1AndN_Solution(int n) { int count = 0; for(int i =1;i<=n;i++){ int num = get...
2019-04-22 00:25:58
110
原创 剑指offer java实现合集（6）第26~30题
26.二叉搜索树与双向链表模仿中序遍历的思路，但是这次是从右向左进行。public class Solution { TreeNode temp = null; public TreeNode Convert(TreeNode pRootOfTree) { if(pRootOfTree==null){ return null...
2019-04-21 19:46:53
77
原创 剑指offer java实现合集（5）第21~25题
21.栈的压入，弹出按照压入数组压入栈，每次对最顶的元素进行能判断，如果等于弹出数组当中的数值，则弹出，弹出数组的指针向后移动一位，当弹出数组的所有元素弹出后，如果栈为空，则说明相匹配。import java.util.ArrayList;import java.util.*;public class Solution { public boolean IsPopOrder(i...
2019-04-21 14:04:32
122
原创 剑指offer java实现合集（4）第16~20题
16.合并两个排序的链表依次比较两个链表当前节点的值，小的就插入到后年，如果有任何一条链表走到了结尾，就直接加载另外一条链表剩余的节点。注意要提前保存头结点。public class Solution { public ListNode Merge(ListNode list1,ListNode list2) { ListNode first = new Lis...
2019-04-19 20:11:17
115
原创 剑指offer java实现合集（3）第11~15题
11.二进制中1的个数这个题很有意思，用到的知识点是：任何一个数和比他小一的数相与都会减少一个1的特性。public class Solution { public int NumberOf1(int n) { int res = 0; while(n!=0){ n=n&(n-1); res++...
2019-04-18 19:16:45
90
原创 剑指offer java实现合集（2）第6~10题
6.旋转数组的最小数字这道题有两道思路，一种是常规的二分查找，也是出题人想要考察的。用最后一位和中间值比较大小，从而确定当前旋转的状态，然后逐步向下缩小范围。做法如下：import java.util.ArrayList;public class Solution { public int minNumberInRotateArray(int [] array) {...
2019-04-18 16:26:51
101
原创 java常见异常类型
Java 异常顶层父类Throwable，并实现了Serializable接口由Throwable派生出来的异常类有两种Error类和Exception类Error：错误，代表JVM本身的错误，处理程序运行环境方面的异常，不能通过代码处理。比如OutOfMemoryError、AWTErrorException：异常，程序运行时发生，可以被Java异常处理机制使用比如IOExc...
2019-04-17 15:09:35
551
原创 剑指offer java实现合集（1）第1~5题
1.二维数组中的查找因为数组是从左往右递增，从上往下递增，所以我们从左下角开始寻找，如果比目标值小就向右寻找，比目标值大就向上寻找。public class Solution { public boolean Find(int target, int [][] array) { int i = 0; int j = array.length-1;...
2019-04-16 20:09:55
168
原创 java实现排序算法，快排，堆排序，冒泡，归并排序
package practice;import java.util.Arrays;public class sortfamily { public static void main(String[]args){ int []num = {1,4,3,2,5,6,7,8,9}; sortfamily it = new sortfamily();//...
2019-04-16 15:59:17
195
原创 wps word修改目录行间距后出现空行的现象，且删除按键无效
当目录的行间距变大的时候可能会出现断层，空白的现象。方法：在前半段目录的末尾按下delete按键。
2019-04-15 15:00:15
11664
3
转载 mr二次排序 带注释
关于二次排序主要涉及到这么几个东西：在0.20.0以前使用的是setPartitionerClasssetOutputkeyComparatorClasssetOutputValueGroupingComparator在0.20.0以后使用是job.setPartitionerClass(Partitioner p);job.setSortComparatorC...
2019-04-14 15:33:48
441
转载 多角度看关系型非关系型数据库的区别
永远正确的经典答案依然是：具体问题具体分析。数据表VS.数据集关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的，因此存储在数据表的行和列中。数据表可以彼此关联协作存储，也很容易提取数据。与其相反，非关系型数据不适合存储在数据表的行和列中，而是大块组合在一起。非关系型数据通常存储在数据集中，就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要...
2019-04-05 17:26:06
279
转载 对实体 "useSSL" 的引用必须以 ';' 分隔符结尾。
今天在定义数据源的时候，在配置context.xml文件时，连接mysql数据库的url一行发生错误，报错：“对实体 "useSSL" 的引用必须以 ';' 分隔符结尾”。以下是我配置数据源的代码：<Resource name="jdbc/BookDB" auth="Container" type="javax.sql.DataSource"username="root"pass..
2019-01-29 14:59:24
1883
1
转载 接口和抽象类的区别
接口与抽象类的区别：1 两者表达的概念不一样。抽象类是一类事物的高度聚合，与子类的关系属于“是”的关系；而接口是定义行为规范，因此对于实现接口的子类来说，相对于接口来说，是“行为需要按照接口来完成”。2 抽象类在定义类型方法的时候，可以给出方法的实现部分，也可以不给出；而对于接口来说，其中所定义的方法都不能给出实现部分。3 继承类对于两者所涉及方法的实现是不同的。继承类对于抽象类所定义...
2019-01-22 17:46:30
89
原创 linux 命令行出现-bash-4.2$的解决办法
输入这两句话，然后关闭终端，重新登录一下就好了cp /etc/skel/.bashrc /root/cp /etc/skel/.bash_profile /root/同样的方法，如果是非root而是某用户，就把目标路径换成相对应的用户路径即可。这两个文件通常在建立用户目录是自动添加，如果是你手动创建文件夹在/etc/passwd指定目录也会出现该错误。...
2019-01-15 16:43:55
33062
4
原创 滴滴数据开发实习面试经历
又到了同学们找实习的季节，回顾下之前找实习的面试经历。1.自我介绍，问了下在校成绩，为何跨专业考研，有过多少开发经验。2.项目经历，业务逻辑，这里问的比较细，为什么这样做，这样做的好处是什么。写了三个项目，重点问了两个，20分钟3.java基础。set,list,map的区别，hashmap,hashtable区别，垃圾回收机制。4.SQL语句掌握情况，先问了下group by ,...
2018-12-23 16:22:02
1314
1
原创 一行命令解决虚拟机克隆后不能连接网络的问题
克隆虚拟机后，所有的虚拟机都无法上网。输入ip addr指令，显示没有ip地址。在网上找到的很多方法，大多是重新生成MAC，设置ip配置文件等。重新打开网络服务多次，依然没有效果。打开虚拟机图形界面，发现虚拟机（centos7）右上角的连接图标消失，进入设置，找网络配置项，依然没有本地连接选项。 最后在网上找到了这样一行代码mv /var/lib/NetworkMana...
2018-12-21 15:16:17
3120
2
转载 linux升级JDK及配置环境（转）
不需要删除旧的jdk，安装新版本的jdk，再更新环境变量即可。Linux下安装jdk，步骤如下 1：下载jdk包：本章使用的为后缀为tar.gz的文件（不需要安装），如jdk-8u111-linux-x64.tar.gz 2： 把jdk文件保存至Linux下目录：通过控制台，使用mkdir命令生成usr/java目录，并把文件放入其下 3：解压tar.gz文件：通过控制...
2018-12-19 15:49:01
268
1
原创 linux以时间为文件名建立文件夹
每天上班都要建立一个文件夹来保存一天的工作数据。创建的指令是这样的mkdir $(date +%Y%m%d)这样建立的文件夹名字就是20181219 为了更简便，可以创建Xshell的快捷指令在指令栏直接创建该指令，中间用；分割mkdir wytest/wytest$(date +%Y%m%d);cd wytest/wytest$(date +%Y%m%d) ...
2018-12-19 14:12:21
4139
1
转载 hive的事务支持
背景介绍在0.13.0版本之前，hive只能进行块级事务的操作，由于hive是基于HDFS的操作，所以都是以块为单位进行存储继0.13.0版本之后，hive开始支持事务处理，也就是说hive可以支持以行为单位的原子性操作，以及具有acid的特性（atmoic原子性 consistency 一致性 isolation 隔离性 durability 永久性） hive配置...
2018-12-13 15:23:14
2707
转载 StringTokenizer的使用方法
１. 构造函数。1. StringTokenizer(String str) ：构造一个用来解析str的StringTokenizer对象。java默认的分隔符是“空格”、“制表符(‘\t’)”、“换行符(‘\n’)”、“回车符(‘\r’)”。2. StringTokenizer(String str, String delim) ：构造一个用来解析str的StringTokenizer对...
2018-12-13 11:03:27
623
转载 linux解压指令gz、tar、zip、bz2。
gzip 压缩后的格式为：*.gz 这种压缩方式不能保存原文件；且不能压缩目录 命令举例：#压缩[root@localhost tmp]# gzip buodo[root@localhost tmp]# lsbuodo.gz#解压[root@localhost tmp]# gunzip buodo.gz[root@localhost tmp]# lsb...
2018-12-11 10:30:36
316
原创 &和nohup的介绍，运用和区别
某次运行一个需要运行很久的MR，使用nohup指令，可以后台不挂起运行程序，结果可以保存到本地。 使用场景：显示所有在集群上的进程yarn application --list | grep xxx杀掉已经运行进程,把原本开的MR程序关掉 yarn application -kill application_1540343976274_8252 yarn appli...
2018-12-03 10:35:09
362
转载 Map.Entry 类使用简介
你是否已经对每次从Map中取得关键字然后再取得相应的值感觉厌倦？使用Map.Entry类，你可以得到在同一时间得到所有的信息。标准的Map访问方法如下：Set keys = map.keySet( );if(keys != null) {Iterator iterator = keys.iterator( );while(iterator.hasNext( )) {Object ke...
2018-11-05 14:56:38
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人