- 博客(12)
- 问答 (1)
- 收藏
- 关注
原创 华为云Centos7搭建hadoop集群二:yum源替换,ssh免密处理,hadoop用户sudo
华为云Centos7搭建hadoop集群二:yum源替换,ssh免密处理,hadoop用户sudo
2022-01-26 20:09:35
1912
原创 SPARK中的map三大算子用法解析和实例操作
val conf = new SparkConf().setAppName("RDD").setMaster("local[2]") val sc = new SparkContext(conf) sc.setLogLevel("ERROR") val tt = true; var list = List[String]("a","b","c") /** * RDD创建方式 * 指定分区数 默认分区策略为HASH分区策略,按照取模进行分区分配 .
2021-09-23 20:33:07
1984
原创 HDFS-REBALANCE一次生产环境下的优化
HDFS-REBALANCE一次生产环境下的优化不知道balance是什么的小伙伴可以先查一下rebalance,假设你已经知道了rebalance的相关过程。集群配置信息:集群节点配置,共配置18台节点,三台配置为6T,十五台配置为28T,三台低配置电脑为同一机架问题现象:1.rebalance任务执行缓慢,移动数据量小2.任务执行rpc时间边长,延迟高3.在同步部分数据后,未达到设定的平衡值就退出了rebalance4.日志报错提示多,报错线程数不够后,会导致datanode休眠10s问
2021-07-26 15:52:45
843
原创 Oracle中的group by到底能干什么
Oracle中的group by到底能干什么在谈oracle的group by的时候,大多数人的第一印象都是group by不就是用于分组的吗?有什么好说的呢,但是在实际操作中,却经常会出现需要group by但是又不能模范的写出group by,拿到想要的数据的操作。本篇写下自己对于group by的一些见解。1.对于group by,首先我们什么场景使用?常见的场景有:1.分组求聚合,使用聚合函数做一些操作,比如max,min,sum等等思考下:在使用group by之前,先弄清楚为什么有些字
2021-02-02 21:24:56
2142
2
原创 ORACLE常用函数与数据处理
ORACLE常用函数与数据处理1.oracle虚拟表与虚拟列rownum,物理存放地址rowidoracle虚拟表dual常见用法可以作为数据查询的基表使用;1.查询时间select sysdate from dual;2.操作数据计算select 1+1 from dual;3.查看序列下一个值select sequence名称.nextval from dual;4.函数处理验证等select trunc(sysdate,‘yyyy’) from dual;select tru
2021-01-30 16:09:07
467
原创 HIVE关于环比数据实现的方法
HIVE关于环比数据实现同期比值的方法最近在解决业务需求时,遇到了hiveSQL里面关于同期数据的环比计算。业务场景为:按月份计算数据及其对应的环比数据,月份数据展示为最后一天数据信息环比计算公式为:当前时间计算:(当前时间数据-上月同期数据)/上月同期数据历史时间计算:(上月月末数据-上上月末数据)/上上月末数据数据存放为:表A存放每日数据(每日为当月累计数据),月份数据展示为最后一天数据信息。字段:时间(data_time),数据量ccdata_timecc2
2021-01-14 21:41:05
1871
原创 ORACLE删除掉两条一模一样的重复数据
ORACLE删除掉两条一模一样的重复数据在oracle的数据处理中,有时会出现数据重复插入,并且不存在主键的情况,如何删除掉两条一模一样的数据中的一条并保留任意一条。1.使用临时表处理在两条重复数据一模一样的情况下,可以用临时表来存放数据,对原表进行删除操作后,将临时表数据放入原表。例:表A字段:name,age查询是否存在重复数据:select A.name,A.age from A group by A.name,A.age having count(1)>1;用临时表B存放-临时表
2021-01-10 10:35:28
3761
原创 ORACLE中的时间函数TRUNC与TO_DATE
ORACLE中的时间函数TRUNC与TO_DATETRUNC的常用用法我们知道在oracle中,trunc经常用来做时间与取整计算,本文主要演示一下trunc在时间操作函数中的作用1.oracle常用时间类型查询时间字段为yyyy-MM-dd格式时,可以不使用trunc,后续时间使用to_date等–当前时间带时分秒 2020/4/11 22:09:56select sysdate from dual;–当前时间 截取到天 2020/4/11select trunc(sysdate) fr
2021-01-10 10:09:37
3128
空空如也
dbeaver连接hive怎么指定队列
2021-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人