- 博客(18)
- 收藏
- 关注
原创 SparkSql 解析 string json格式
3,根据2中的特殊符号,使用split将整个2处理后的结果转为array类型split(regexp_replace(regexp_extract(itemlist,'^\\[(.+)\\]$',1),'\\},\\{"baseDiscountInfo"','\\}#@\\{"baseDiscountInfo"'),'#@')1,去掉string类型数据首尾[和]regexp_extract(itemlist,'^\\[(.+)\\]$',1)...
2022-07-16 23:45:56 1659
原创 spark 自定义输出文件名,文件格式,csv文件添加列头
import java.text.SimpleDateFormatimport java.util.Dateimport org.apache.hadoop.fs.{FileSystem, Path}import org.apache.hadoop.mapred.{FileOutputFormat, JobConf}import org.apache.hadoop.mapred.lib.MultipleTextOutputFormatimport org.apache.spark.TaskCo.
2021-10-31 17:39:15 3414 4
原创 hive中自增序列,连续登陆及拉链表
1,实现hive中的自增列 假设有维度表tbl_dim和过渡表tbl_stg,现在要将tbl_stg的数据装载到tbl_dim,装载的同时生成维度表的代理键selectrow_number() over (order by 1) + t2.sk_max,tbl_stg.namefrom tbl_stgcross join(select coalesce(max(sk_max),0) sk_max from tbl_dim) t2;上面语句中,先查询维度表中已...
2021-09-02 10:52:07 1240
原创 Hivesql 行转列,列转行详解
hive中行转列行转列:concat_ws 和collect_set或者collect_list结合使用collect_set函数是对统计的数据进行去重,然后拼接在一起,返回一个set集合collect_list是不去重,对所有的值进行拼接然后返回一个list集合select id,isbook,concat_ws(',', collect_list(cast(time as string))) as List from table group byid,isbook使用str_..
2020-11-13 15:29:35 1627 1
原创 搭建本地zabbix源 安装zabbix监控,中文乱码解决
下载外网的yum源文件,配置自己的本地zabbix yum源。1,下载window 使用wget.exe 下载zabbix 文件2,将下载好的文件复制到/var/www/html/zabbix目录cd /var/www/html/zabbix3,配置本地yum源zabbix.repo[zabbix]name=Zabbixbaseurl=http:...
2019-11-28 09:45:29 286
原创 Mariadb/Mysql升级至10.4.10操作实战
切记:升级操作需要使用yum源1,备份相关数据库数据 mysqldump -h127.0.0.1 -uroot -ppass --databases hive ambair >/opt/tools/mariadb-10.4.10/ambari-hive.sql2,卸载原有mariadb数据库 卸载相关rpm包,示例如下 rpm -ivh m...
2019-11-27 21:36:13 1405
原创 Hive高频使用
1.强制删除带有表的hive库:drop database 库名 cascade;2.设置显示当前使用的hive库:hive> set hive.cli.print.current.db=true; 查询当前使用的hive库:select current_database();3.hive客户端设置运行队列:hive>s...
2018-11-22 10:47:32 539
原创 OpenSession和GetCurrentSession的区别
1>性能区别: OpenSession效率非常低,每次请求可能会执行多个功能,每个功能都是使用OpenSession,这样会反复的连接数据库,效率低 getCurrentSession首先从当前线程中查询是否有可用的session,如果有直接拿来使用,如果没有,新打开一个,并把他放入当前线程中 2>事务对其影响的差别: getCurrentSessi
2017-09-08 22:57:34 305
原创 hibernate的缓存类别
1>一级缓存在查询的时候,每次都会先去session容器中找是否需要的对象,如果有,直接返回,不会与数据库进行交互如果session容器中没有,session向数据库中查询,这时会与数据库进行交互,发送sql语句.一级缓存是Session级别的缓存。在操作数据库时需要构造Session对象,在对象中有一个数据结构(HashMap)用于存储缓存数据。不同的Session之间的缓存
2017-09-08 22:40:46 353
原创 JAVA中创建JDBC以及对jdbc的封装(数据库为mysql)
1,JDBC连接mysql时需要用到的类: Drivermanager 类:驱动管理类 Connection 接口:数据库连接接口 Statement 接口:执行sql语句的接口 Resultset 接口:查询的结果集对象
2017-08-04 19:43:24 323
原创 Java中的分页实现
1,创建分页的实体类: 然后获得其属性的get和set方法 需要注意的是getTotalPage()方法需要修改下,计算出总页数 public class UtilPage { publicint totalPage;// 总页数 publicint rowsCount;// 总条数 publicint currentPage;/
2017-08-01 17:10:09 492
原创 form表单get和post提交方式的不同
1>method="get" 提交时传递的值暴露在url上 http://localhost:8080/Web-ServletContext/Servlet_Context?name=王经 2>method="post" post方式不会暴露传递的值,而且传递的数据量比get大 http://localhost:8080/Web-Servl
2017-07-21 14:27:41 448
原创 Http协议中访问的状态码
常用的状态码 1>200 :请求成功 2>302 :请求重定向 3>304 :请求资源没有改变,访问本地缓存 4>404 :请求资源不存在,通常是访问路径错误(重新输入正确路径) 5>500 :服务器内部错误,一般都是程序中的代码错误(直接去查看代码,改正错误)
2017-07-21 13:39:14 272
原创 mysql中的inner join,left join,right join
内连接 INNER JOIN,左连接 left join ,右连接 left join 是在查询数据用到多张表时会用的知识点 如果仅仅是对一张表中的数据进行查询就没法进行连接了-- 内连接 INNER JOIN语法: select * from 表1 INNER JOIN 表2 On 表1.ID=表2.ID (表1.ID,表2.ID之间要有关系)例如:SELECT * f
2017-07-19 12:45:07 350
原创 mysql中的主外键的理解
-- 进行主外键关联alter table gradeadd FOREIGN KEY (stu_id)REFERENCES student (id)-- mysql中的主外键关联 ,如果没有主外键关联,-- 表中的数据可以随意添加,就如学生表和成绩表一样-- 学生表可以随意添加学生信息,成绩表中也可以随意添加-- 但是添加后有可能学生表没有学生信息,但成绩表却出现了成绩
2017-07-19 12:39:59 415
原创 函数重载(OverLoading)和函数的覆盖(重写)Overriding
OverLoading函数重载:让类以统一的的方式处理不同类型的数据,多个同名函数同时存在,具有不同的参数个数/类型1:在同一个类中 方法名相同。2:方法的参数类型,个数,顺序至少有一个不同。3:仅仅返回值不一样,不能构成重载。Overriding方法的覆盖(重写):1,函数名相同,返回值类型,参数列表要相同。2,函数体不同。而且子类方法不能缩小父类方法的访问权限。(访
2017-07-14 14:27:27 435
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人