- 博客(9)
- 收藏
- 关注
RSS订阅原创 用IDEA代码连接spark和hive报一下错误
问题描述：hive中元数据信息的问题。修改以下配置文件，打开文件的元数据信息hive/conf/hive-site.xml 修改<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <!-- jdbc 连接的 URL --> <property><name>...
2021-12-09 10:33:47
279
翻译 修改虚拟机为NAT模式
如果VMware为仅主机模式，当电脑联网的时候，虚拟机也要有自己的网段信息。会经常因连接wifi的字段的改变而ping不同 baidu.com. 这时候就需要把虚拟机改成NAT模式。需要注意的：CentOS 6.5 使用NAT模式联网，并配置静态IP。实现Xshell连接，并且ping通www.baidu.com注意： 使用VMWare Workstation pro 15 不要用VMWare player，没有虚拟网络编辑器，怎么配都连不上网首先虚拟网...
2021-12-04 13:59:49
584
1
原创 HSql练习题
小的练习，都包含一个知识点：--试题一：--如表一所示，请用sql语句统计出各分行下的客户余额排名情况，所统计的结果展现形式为：--Rank_cd 排名 Org_name 所属分行 Cust_id 客户号 Current_bal 当前余额--客户余额计算口径：客户所有账户余额的总和（一个客户可能有多个账户）。--数据输入Rank_cd Org_name Cust_id Current_bal（排名） （所属分行）
2021-12-04 11:31:28
1639
2
原创 Hive用sqoop传递表到mysql中
--eg：前提是hive中的表结构，必须和mysq中的一致。sqoop export --connect jdbc:mysql://（要连接的数据库的网址id）:（端口号）/（库名）--username （数据库的用户名） --password （数据库密码）--table （数据库里要放进去的表名 注：必须是提取创好的，而且还要跟hive的字段表名都一致） --num-mappers 1 --export-dir （/user/hive/warehouse/lianxi.db/text_..
2021-11-30 16:34:23
1747
原创 Hsql中，小于要求的排序为null，满足要求的进行正序
问题：有20行数值，根据时间排序，如果active-tag大于15则排序为空，满足按正序排序思路：1、找到满足要求的表进行正序排序 2、找到不满足要求的表进行排序，如果不为空，就返回null， 3、两个表相互union，进行合并。数值：00:00,1,10.0001:00,1, 02:00,1,20.0003:00,1,04:00,1, 05:00,1,70.00--自定义UDF函数，要记得继承UDF函...
2021-11-30 16:19:29
1260
原创 Hive中替换空null，用上面非空的null替换
一、问题有两种情况，一种是中文字段的空null的替换，一种是int类型之间的替换。（1）中文字段的空null替换，要补全一个表某列的空值，策略是按某个规则排序后，取上一个非空的值替代。二、思路根据上一个非空的值，进行到下一个非空的值，取出两个之间的数据，经过已经写好的函数，进行炸裂。取出对应的ecent值，用两个表left join一下，取两个表想要的数值1、对数据进行分区排序，取rank值，获取“”值的长度，取cnt值，获取分区的总数，为后面的lead的最后一个空值做准备。创建临时表。
2021-11-30 14:42:53
4064
原创 银行--根据日期算出固定时间积分
题目：如下表该表以拉链的方式存储账户的余额信息，请以2012-8-7日为数据日期，计算从2012-8-1日到2012-8-7各账号的积数，【应该说明哪个日期是开区间，那个日期是闭区间】建表语句：eg: 字段名如下create table t03_acct_bal_h(Acct_no bigint comment '账号id',Current_bal bigint COMMENT '当前余额',Org_name string COMMENT '所属机构',Start_dt strin.
2021-11-29 18:10:11
275
原创 HiveSql时间集合应用
// add_months 获取当前日期的后N个月的日期select add_months('2021-08-09',3); --返回 2021-11-09// 时间戳进行格式化select from_unixtime(1519818348,'yyyyMMdd'); --返回 通过时间戳对应的格式 20180228// 获取当天的时间戳select unix_timestamp() as lin; --返回 默认时间戳select from_unixtim.
2021-11-29 16:25:24
279
原创 2021-05-15
##第一次博客###内容：变量转换类型public class blzhlx{public static void main(String[] args){ byte b=1; short s=2; int i=3; System.out.println(i+2+b); //因为byte是一个字节，short是两个字节，int是4个字节，小转大是不会有精度损失的 int ia=5 , ib=6; long L=2147483700L
2021-05-15 18:28:24
62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人