自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 用IDEA代码连接spark和hive报一下错误

问题描述:hive中元数据信息的问题。修改以下配置文件,打开文件的元数据信息hive/conf/hive-site.xml 修改<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <!-- jdbc 连接的 URL --> <property><name>...

2021-12-09 10:33:47 278

翻译 修改虚拟机为NAT模式

如果VMware为仅主机模式,当电脑联网的时候,虚拟机也要有自己的网段信息。会经常因连接wifi的字段的改变而ping不同 baidu.com. 这时候就需要把虚拟机改成NAT模式。需要注意的:CentOS 6.5 使用NAT模式联网,并配置静态IP。实现Xshell连接,并且ping通www.baidu.com注意: 使用VMWare Workstation pro 15 不要用VMWare player,没有虚拟网络编辑器,怎么配都连不上网首先虚拟网...

2021-12-04 13:59:49 584 1

原创 HSql练习题

小的练习,都包含一个知识点:--试题一:--如表一所示,请用sql语句统计出各分行下的客户余额排名情况,所统计的结果展现形式为:--Rank_cd 排名 Org_name 所属分行 Cust_id 客户号 Current_bal 当前余额--客户余额计算口径:客户所有账户余额的总和(一个客户可能有多个账户)。--数据输入Rank_cd Org_name Cust_id Current_bal(排名) (所属分行)

2021-12-04 11:31:28 1639 2

原创 Hive用sqoop传递表到mysql中

--eg:前提是hive中的表结构,必须和mysq中的一致。sqoop export --connect jdbc:mysql://(要连接的数据库的网址id):(端口号)/(库名)--username (数据库的用户名) --password (数据库密码)--table (数据库里要放进去的表名 注:必须是提取创好的,而且还要跟hive的字段表名都一致) --num-mappers 1 --export-dir (/user/hive/warehouse/lianxi.db/text_..

2021-11-30 16:34:23 1747

原创 Hsql中,小于要求的排序为null,满足要求的进行正序

问题:有20行数值,根据时间排序,如果active-tag大于15则排序为空,满足按正序排序思路:1、找到满足要求的表进行正序排序 2、找到不满足要求的表进行排序,如果不为空,就返回null, 3、两个表相互union,进行合并。数值:00:00,1,10.0001:00,1, 02:00,1,20.0003:00,1,04:00,1, 05:00,1,70.00--自定义UDF函数,要记得继承UDF函...

2021-11-30 16:19:29 1260

原创 Hive中替换空null,用上面非空的null替换

一、问题有两种情况,一种是中文字段的空null的替换,一种是int类型之间的替换。(1)中文字段的空null替换,要补全一个表某列的空值,策略是按某个规则排序后,取上一个非空的值替代。二、思路根据上一个非空的值,进行到下一个非空的值,取出两个之间的数据,经过已经写好的函数,进行炸裂。取出对应的ecent值,用两个表left join一下,取两个表想要的数值1、对数据进行分区排序,取rank值,获取“”值的长度,取cnt值,获取分区的总数,为后面的lead的最后一个空值做准备。创建临时表。

2021-11-30 14:42:53 4062

原创 银行--根据日期算出固定时间积分

题目:如下表该表以拉链的方式存储账户的余额信息,请以2012-8-7日为数据日期,计算从2012-8-1日到2012-8-7各账号的积数,【应该说明哪个日期是开区间,那个日期是闭区间】建表语句:eg: 字段名如下create table t03_acct_bal_h(Acct_no bigint comment '账号id',Current_bal bigint COMMENT '当前余额',Org_name string COMMENT '所属机构',Start_dt strin.

2021-11-29 18:10:11 275

原创 HiveSql时间集合应用

// add_months 获取当前日期的后N个月的日期select add_months('2021-08-09',3); --返回 2021-11-09// 时间戳进行格式化select from_unixtime(1519818348,'yyyyMMdd'); --返回 通过时间戳对应的格式 20180228// 获取当天的时间戳select unix_timestamp() as lin; --返回 默认时间戳select from_unixtim.

2021-11-29 16:25:24 278

原创 2021-05-15

##第一次博客###内容:变量转换类型public class blzhlx{public static void main(String[] args){ byte b=1; short s=2; int i=3; System.out.println(i+2+b); //因为byte是一个字节,short是两个字节,int是4个字节,小转大是不会有精度损失的 int ia=5 , ib=6; long L=2147483700L

2021-05-15 18:28:24 62

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除