- 博客(16)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 hive：函数：sort_array函数解决collet_list列表排序混乱问题
由collect_list形成的列表经过concat_ws拼接后顺序具有随机性，要保证列表有序只需要在生成列表后使用sort_array函数进行排序即可参考：https://blog.csdn.net/madaokuma/article/details/81544849...
2019-07-30 13:54:18
5687
原创 hive：函数：size(数组字段)获取array长度和 length(字段)获取字符串长度
获取字符串长度：length(字段)字符串转数组：collect_list 列转行可得到数据，或split()某个字段得到数组获取数组长度：size(数组字段)参考sql：set edate=2019-07-21SET company=***;SET recomrecords=ods.ods_${hiveconf:company_RecomRecords;SET empl...
2019-07-30 13:51:03
33582
原创 hive：函数：concat_ws函数
环境：1. hive版本0.13.02. 表test_array有数组字段例如：select c_array from test_arraywhere dt='2016-09-26' and size(c_array)=2 limit 2;["105750","1246345","907964"]["935105","359772","935104"]3.转为字符...
2019-07-30 13:36:32
31452
原创 hive：语法：怎样写exist/in以及not exists/not in子句 和 字段嵌套子查询
1.hive中没有exist或not exist 语句，但是关系型数据库中是有这种语法的，比如mysql和sqlserver但是通过语法的转换，hive可以使用另外的语法得到相应的结果。如mysql语句：SELECT CASE WHEN d.Name IS NOT NULL THEN d.Name ELSE '' END...
2019-07-30 13:31:56
10205
转载 java：BigDecimal详解
1.引言 float和double类型的主要设计目标是为了科学计算和工程计算。他们执行二进制浮点运算，这是为了在广域数值范围上提供较为精确的快速近似计算而精心设计的。然而，它们没有提供完全精确的结果，所以不应该被用于要求精确结果的场合。但是，商业计算往往要求结果精确，这时候BigDecimal就派上大用场啦。先看下面代码 public static void main(String...
2019-07-23 19:57:25
411
原创 linux：shell：执行hive查询并将返回值赋值给shell变量（hive -e / hive -f）
while循环的使用，if循环的使用，执行hive语句并赋值给shell变量grep过滤无效字符的使用#!/bin/bashstart_date=$1end_date=$2company=$3#while循环的使用，注意[] 这两个符号内侧都要留有空格while [ "$start_date" -le "$end_date" ];do current_date...
2019-07-18 17:15:07
8680
1
原创 sql：mysql：变量的使用
SET @ID = 16833194; --设置变量SELECT @ID; --查询变量 结果为16833194select * from t_ca_po_cus where id= (SELECT @ID) --作为id查询SELECT @ID:=@ID+1 AS ID --ID自增1，注意这里:=是赋值的意思...
2019-07-15 11:17:03
721
原创 hive/shell：变量：基本使用
1.shell脚本执行hive的sql文件的方式shell脚本test.sh：#! /bin/bashstart_date=$1end_date=$2company=$3while [ "$start_date" -le "$end_date" ];do current_date=`date -d "$start_date" +%Y-%m-%d` echo $compa...
2019-07-15 10:43:59
1136
原创 hive：函数：空格字符串函数|重复字符串函数|首字符ascii函数|左补足函数|右补足函数
空格字符串函数：space语法: space(int n)。返回长度为n的字符串举例：select length(space(10)) ; ##返回值为10重复字符串函数：repeat语法: repeat(string str, int n)。返回重复n次后的str字符串首字符ascii函数：ascii语法: ascii(string str)。返回字符串str第一...
2019-07-10 14:58:11
1040
原创 hive：函数：URL解析函数：parse_url
URL解析函数：parse_url语法: parse_url(string urlString, string partToExtract [, string keyToExtract])。返回URL中指定的部分。partToExtract的有效值为：HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO.举例：...
2019-07-10 14:50:13
1819
原创 hive：函数：反转函数：reverse
hive和mysql用法相同。字符串反转函数：reverse语法: reverse(string A)。返回字符串A的反转结果举例：select reverse(abcedfg’) from dual; ##返回值为gfdecba实例：select reverse(a),reverse(b),reverse(c) from tmp.csv_t1...
2019-07-10 13:57:38
9608
原创 hive：函数：条件函数：if函数
语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNull实例1：mysqlselect source,if(source='猎聘',1,2) as flag from t_cal_dowell_re...
2019-07-10 13:39:47
10045
转载 hive:函数：关系函数 / 比较函数
等值比较: =语法：A=B。如果表达式A与表达式B相等，则为TRUE；否则为FALSE不等值比较: <>语法: A <> B。如果表达式A为NULL，或者表达式B为NULL，返回NULL；如果表达式A与表达式B不相等，则为TRUE；否则为FALSE小于比较: <语法: A < B。 如果表达式A为NULL，或者表达式B为NULL，返回NULL...
2019-07-08 19:03:24
2086
原创 spark：开发本地测试的wordcount程序
1.使用Java开发本地测试的wordcount程序-12.使用Scala开发本地测试的wordcount程序-1测试文件上传：hadoop fs -put wordcount.txt /wordcount.txt使用eclipse开发实现：开发时注意导入spark-assembly-1.6.0-hadoop2.6.0.jar包。读...
2019-07-07 03:16:30
937
原创 spark：
1.1、Spark基本工作原理与RDD-1使用Java/Scala开发本地测试的wordcount程序：参考：https://blog.csdn.net/weixin_38750084/article/details/94933797Spark 架构原理：8种常用的t...
2019-07-07 01:06:11
139
apache-phoenix.zip
2020-09-01
Hadoop本地环境配置 需要的文件hadoopdll和winutilexe.zip
2020-04-23
RedisDesktopManager_v0.9.3.817_itmop.com(可用).zip
2019-12-19
DBeaver（含hive驱动）
2019-05-31
MouseWithoutBordersSetup 无界鼠标
2019-05-25
【进程查看器】Process+Explorer
2018-09-30
高级小知识点
2017-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人