数据库
文章平均质量分 78
data大柳
在大数据的海洋,一条大汉在裸泳,游得飞快(∩_∩)
展开
-
MaxCompute(ODPS)中Python UDF使用:如何打包所有依赖包
解决MaxCompute(odps)中在使用Python UDF时,需要加载较多依赖包的问题,一次打包多个依赖包,以及依赖包的依赖包,摆脱手动寻找兼容 ODPS 的依赖。原创 2022-08-27 23:29:28 · 2572 阅读 · 0 评论 -
sql数据处理的长尾问题及优化
长尾问题是分布式计算里最常见的问题之一。主要原因是因为数据分布不均,导致各个节点的工作量不同,整个任务就需要等最慢的节点完成才能完成。Map长尾主要原因是某些Map Instance读取的数据量相对于其他的Instance多很多。优化方法:使用统计好的中间层汇总表,减少大数据量读取;行裁剪:检查代码读取的数据量是不是比自己的需求多,尽可能限制分区或者使用where条件过滤掉不需要的数据;列裁剪:限制select的字段数据,尽量不用select *,列的利用率低。比如原表有100个字段,如果只用原创 2021-09-23 15:32:52 · 1516 阅读 · 0 评论 -
Lateral View(行转列)
通过Lateral View与UDTF(表生成函数)结合,将单行数据拆成多行数据,即行转列。命令格式lateralView: lateral view [outer] <udtf_name>(<expression>) <table_alias> as <columnAlias> (',' <columnAlias>) fromClause: from <baseTable> (lateralView) [(lateralV原创 2021-07-07 19:39:36 · 1854 阅读 · 0 评论 -
一些常用的sql函数
求绝对值函数select abs(-5) from dual;求平方根函数select sqrt(2) from dual;求幂函数select power(2,3) from dual;求余弦三角函数select cos(3.14159) from dual;求除法余数select mod(1600, 300) from dual;求大于等于某数的最小整数select ceil(2.35) from dual;求小于等于某数的最大整数select floor(2.35原创 2021-01-29 18:16:06 · 979 阅读 · 2 评论 -
oracle数据库中生成随机数方法
生成随机数,oracle中采用的是dbms_random.value函数。dbms_random是一个可以生成随机数值或者字符串的程序包。这个包包含以下等几个参数:initialize()seed()terminate()value()normal()random()string()其中value()是最常用的。value()的用法一般有两种:第一种 :function value return number:这种用法没有参数,会返回一个具有38位精度的数值,范围从0.0到1.0,转载 2020-09-01 17:56:39 · 6966 阅读 · 0 评论 -
数据库角色、用户、授权总结(详细)
总述每个Oracle用户都有一个名字和口令,并拥有一些由其创建的表、视图和其他资源。Oracle角色(role)就是一组权限(privilege)(或者是每个用户根据其状态和条件所需的访问类型)。用户可以给角色授予或赋予指定的权限,然后将角色赋给相应的用户。一个用户也可以直接给其他用户授权。数据库系统权限(Database System Privilege):系统权限是指执行特定类型SQL命令的权利,用于控制用户可以执行的一个或一类数据库操作。新建用户没有任何权限。赋予系统权限允许用户执行特定的命令集原创 2020-09-01 17:01:30 · 7677 阅读 · 0 评论 -
hive建表
hive里建内部表、外部表示例原创 2017-12-08 14:29:26 · 346 阅读 · 0 评论 -
oracle随机取数的几种方式对比(详细)
基于Oracle访问数据不同方法:包含全表扫描和采样表扫描,介绍三种随机取样方式,并分别从随机性和性能(读取时间)作比较。原创 2017-12-25 16:04:42 · 5418 阅读 · 2 评论 -
数据库几种表删除方式
drop语法:drop table 表名称删除内容和定义,删除的是整个表(结构和数据),将表所占用的空间全释放掉。无法回滚,所以删除是不能恢复的,如果再次使用的话需要新建表。truncatetruncate table 表名称只是清空表,删除内容,释放空间,但不删除定义(保留表的数据结构)。且不会把删除操作记录记入日志保存,无法回滚,所以删除是不能恢复的。并且在删除的过程中不会激活与表有关的删除触发器。执行速度快。deletedelete from 表名称 where 列名称 = 值原创 2020-09-01 14:13:51 · 11079 阅读 · 0 评论