- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 华为云Centos7搭建hadoop集群二：yum源替换，ssh免密处理，hadoop用户sudo
华为云Centos7搭建hadoop集群二：yum源替换，ssh免密处理，hadoop用户sudo
2022-01-26 20:09:35
1912
原创 SPARK中的map三大算子用法解析和实例操作
val conf = new SparkConf().setAppName("RDD").setMaster("local[2]") val sc = new SparkContext(conf) sc.setLogLevel("ERROR") val tt = true; var list = List[String]("a","b","c") /** * RDD创建方式 * 指定分区数 默认分区策略为HASH分区策略，按照取模进行分区分配 .
2021-09-23 20:33:07
1984
原创 HDFS-REBALANCE一次生产环境下的优化
HDFS-REBALANCE一次生产环境下的优化不知道balance是什么的小伙伴可以先查一下rebalance，假设你已经知道了rebalance的相关过程。集群配置信息：集群节点配置，共配置18台节点，三台配置为6T，十五台配置为28T，三台低配置电脑为同一机架问题现象：1.rebalance任务执行缓慢，移动数据量小2.任务执行rpc时间边长，延迟高3.在同步部分数据后，未达到设定的平衡值就退出了rebalance4.日志报错提示多，报错线程数不够后，会导致datanode休眠10s问
2021-07-26 15:52:45
843
原创 Oracle中的group by到底能干什么
Oracle中的group by到底能干什么在谈oracle的group by的时候，大多数人的第一印象都是group by不就是用于分组的吗？有什么好说的呢，但是在实际操作中，却经常会出现需要group by但是又不能模范的写出group by，拿到想要的数据的操作。本篇写下自己对于group by的一些见解。1.对于group by，首先我们什么场景使用？常见的场景有：1.分组求聚合，使用聚合函数做一些操作，比如max，min，sum等等思考下：在使用group by之前，先弄清楚为什么有些字
2021-02-02 21:24:56
2142
2
原创 ORACLE常用函数与数据处理
ORACLE常用函数与数据处理1.oracle虚拟表与虚拟列rownum,物理存放地址rowidoracle虚拟表dual常见用法可以作为数据查询的基表使用；1.查询时间select sysdate from dual;2.操作数据计算select 1+1 from dual;3.查看序列下一个值select sequence名称.nextval from dual;4.函数处理验证等select trunc(sysdate,‘yyyy’) from dual;select tru
2021-01-30 16:09:07
467
原创 HIVE关于环比数据实现的方法
HIVE关于环比数据实现同期比值的方法最近在解决业务需求时，遇到了hiveSQL里面关于同期数据的环比计算。业务场景为：按月份计算数据及其对应的环比数据，月份数据展示为最后一天数据信息环比计算公式为：当前时间计算：(当前时间数据-上月同期数据)/上月同期数据历史时间计算：(上月月末数据-上上月末数据)/上上月末数据数据存放为：表A存放每日数据(每日为当月累计数据)，月份数据展示为最后一天数据信息。字段：时间(data_time),数据量ccdata_timecc2
2021-01-14 21:41:05
1871
原创 ORACLE删除掉两条一模一样的重复数据
ORACLE删除掉两条一模一样的重复数据在oracle的数据处理中，有时会出现数据重复插入，并且不存在主键的情况，如何删除掉两条一模一样的数据中的一条并保留任意一条。1.使用临时表处理在两条重复数据一模一样的情况下，可以用临时表来存放数据，对原表进行删除操作后，将临时表数据放入原表。例：表A字段：name，age查询是否存在重复数据：select A.name,A.age from A group by A.name,A.age having count(1)>1;用临时表B存放-临时表
2021-01-10 10:35:28
3761
原创 ORACLE中的时间函数TRUNC与TO_DATE
ORACLE中的时间函数TRUNC与TO_DATETRUNC的常用用法我们知道在oracle中，trunc经常用来做时间与取整计算，本文主要演示一下trunc在时间操作函数中的作用1.oracle常用时间类型查询时间字段为yyyy-MM-dd格式时，可以不使用trunc，后续时间使用to_date等–当前时间带时分秒 2020/4/11 22:09:56select sysdate from dual;–当前时间 截取到天 2020/4/11select trunc(sysdate) fr
2021-01-10 10:09:37
3128
空空如也
dbeaver连接hive怎么指定队列
2021-10-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人