- 博客(14)
- 资源 (40)
- 收藏
- 关注
RSS订阅原创 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
yarn执行MapReduce任务时，找不到主类导致的[2019-12-31 20:02:59.464]Container exited with a non-zero exit code 1. Error file: prelaunch.err. Last 4096 bytes of prelaunch.err : Last 4096 bytes of stderr : 错误: 找不到或无...
2019-12-31 20:27:18
8832
6
原创 sum() over(partition by order by row between ... )
原始数据SELECT NAME, p_date, cost, sum(cost) over() AS sample1, --所有行相加 sum(cost) over(PARTITION BY NAME) AS sample2,--按name分组，组内所有行相加 sum(cost) over(PARTITION BY NAME...
2019-12-20 16:36:17
4627
1
原创 explode函数的局限性
explode函数的局限性不能关联原有的表中的其他字段。不能与group by、cluster by、distribute by、sort by联用。不能进行UDTF嵌套。不允许选择其他表达式。常常和lateral view 结合使用...
2019-12-20 12:20:26
328
原创 springmvc和springboot的区别
springmvc和springboot的区别Spring 框架就像一个家族，有众多衍生产品例如 boot、security、jpa等等。但他们的基础都是Spring 的 ioc和 aop ioc 提供了依赖注入的容器 aop ，解决了面向横切面的编程，然后在此两者的基础上实现了其他延伸产品的高级功能。Spring MVC是基于 Servlet 的一个 MVC 框架 主要解决 WEB 开发的问题...
2019-12-14 12:23:12
348
原创 Hive面试总结
order by，sort by，distribute by，cluster by的区别一：order byorder by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间。set hive.mapred.mode默认为nonstrict，在strict模式下使用order by必...
2019-12-14 11:42:34
151
原创 Hive分桶
SET hive.enforce.bucketing=true; ①INSERT (INTO|OVERWRITE) TABLE <bucketed_table> SELECT <select_statement>[SORT BY <sort_key> [ASC|DESC], [<sort_key> [ASC|DESC], ...]]; ②...
2019-12-09 09:38:24
116
原创 HashMap源码笔记
//默认的初始化容量为16static final int DEFAULT_INITIAL_CAPACITY = 1 << 4;//最大的容量，容量的值必须是2的幂并且小于最大的容量，最大值为2的30次方static final int MAXIMUM_CAPACITY = 1 << 30;//加载因子默认值为0.75static final float DE...
2019-12-07 09:09:13
127
原创 mysql page 大小16k
mysql> show global variables like '%page%';+--------------------------------------+-----------+| Variable_name | Value |+--------------------------------------+-------...
2019-12-05 22:09:58
6211
原创 Hive批量删除一段时间分区&&动态分区更新数据
alter table dm.dm_call_gateway_bill_time_detail drop partition(dt >="20191101",dt <='20191130')
2019-12-05 11:29:22
2948
原创 Hive优化
首先说下优化的点，从哪些方面着手：主要是SQL不同写法，还有有就是对Hadoop 、MapReduce、HDFS的理解，调整相应的参数，以下结合我工作中的使用和个人的理解整理的，个人水平有限，欢迎指正，共同学习。SQL 会用explain队列设置本地模式和并行模式设置maper和reducer的个数JVM重用索引动态分区调整:静态分区和动态分区H...
2019-12-04 21:44:50
122
原创 Mac 下设置文件夹的隐藏和显示
# 显示全部文件defaults write com.apple.finder AppleShowAllFiles -bool trueosascript -e 'tell application "Finder" to quit'# 不显示全部文件defaults write com.apple.finder AppleShowAllFiles -bool falseosascrip...
2019-12-03 23:00:39
115
原创 shell循环打印
#!/usr/bin/env bashstart="$1"end="$2"while [ ${start} -le ${end} ]do echo "${start}" start=$((${start}+1))donewhile [ ${start} -le ${end} ];do echo "${start}" start=$((${start}+1))do...
2019-12-03 22:17:22
1700
原创 linux查看目录占用空间大小
查看当前目录下各个目录大小容量dudu 命令-H -- follow symlinks on the command line-I -- ignore files/directories matching specified mask-L -- follow all symlinks-P -- do not follow symlinks (default)-a -- rep...
2019-12-02 23:14:53
291
原创 HiveSQL数据笔试题
题目一：计算平台的每一个用户发过多少朋友圈、获得多少点赞已知，数据如下：T1：10万行数据uid(用户id)log_id(日记id)uid1log_id1uid1log_id2uid2log_id3……T2：1000万行数据（注：没有被点赞的日记此表不做记录）log_id(日记id)like_uid(点赞的用户id)l...
2019-12-02 22:45:03
1581
1
NTFS_for_Mac.dmg
2019-11-03
深入浅出MyBatis技术原理与实战
2017-06-22
TortoiseSVN-1.9.5.27581-x64-svn-1.9.5 中文语言包（64位）
2017-06-18
pro git book
2017-02-26
GitHub入门与实践.pdf 高清pdf
2016-11-07
基于struts2 的书籍信息管理系统
2016-10-23
servlet 中文API
2016-10-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人