Database
文章平均质量分 94
-柚子皮-
╰☆ゞ不染纤尘,不忘初心ゞ☆╮
展开
-
hive: 优化配置及bug查询路径
mapper数量与输入文件的split数息息相关,在Hadoop源码org.apache.hadoop.mapreduce.lib.input.FileInputFormat类中可以看到split划分的具体逻辑。如果想增大mapper数,除了降低mapred.min.split.size之外,也可以调高mapred.map.tasks。参数mapred.min.split.size(默认值1B)和mapred.max.split.size(默认值64MB)分别用来指定split的最小和最大大小。原创 2023-02-07 17:12:40 · 1750 阅读 · 0 评论 -
hive:创建自定义python UDF
也可以自己构建py环境:然后通过using 'python.zip/bin/python employees.py'来使用指定py环境。构建python包的方式可能有:1 如果平台支持,直接写requirement文件自动安装并构建包2 本地打包成zip再上传。Note: 打包也许可以参考一下[打包运行环境conda-pack建议重新配置一个py环境,看哪些包是必须的,减小上传py环境大小。原创 2023-05-29 22:20:03 · 1438 阅读 · 0 评论 -
hive:创建自定义函数 UDF
编写Apache Hive用户自定义函数(UDF)有两个不同的接口,一个非常简单,另一个相对复杂点:简单API: org.apache.hadoop.hive.ql.exec.UDF复杂API: org.apache.hadoop.hive.ql.udf.generic.GenericUDF如果你的函数读和返回都是基础数据类型(Hadoop&Hive 基本writable类型,如Text,IntWritable,LongWriable,DoubleWritable等等),那么UDF可以胜任。原创 2023-04-10 22:24:22 · 944 阅读 · 0 评论 -
hive: 常用函数
常用内置udf函数。原创 2023-02-22 22:35:20 · 514 阅读 · 0 评论 -
hive:基础语法
- 表的定义,gender STRING -- COMMENT '性别';-- 快速创建有数据的临时表-- 不定义,直接继承创建-- 表的插入select *,appid(相对于ddl多出一个) from a;某条数据插入UNION ALLSELECT *;-- 表的修改--删除分区,需要一个个删除分区,分区全删了,表定义还在--删除分区,不添加到回收站--删除非分区表,表定义不删除?原创 2021-05-13 15:00:33 · 474 阅读 · 1 评论 -
sql语法、特殊符号及正则表达式的使用
http://blog.csdn.net/pipisorry/article/details/46773545sql语言结构化的查询语言。(Structured Query Language),是关系数据库管理系统的标准语言。它是一种解释语言:写一句执行一句,不需要整体编译执行。语法特点:1.没有“ ”,字符串使用‘ ’包含2.没有逻辑相等,赋值和逻辑相等都是=3.类型不再是最严格...原创 2015-07-06 13:52:27 · 11570 阅读 · 0 评论 -
python操作mysql时mysqldb和pymysql的安装和使用
http://blog.csdn.net/pipisorry/article/details/48024795python调用数据库命令conn = sqlite3.connect(".\database_name")for row in conn.execute("SELECT name, value FROM table_name"):...from:http://b原创 2015-08-27 11:19:16 · 3854 阅读 · 0 评论 -
Mysql数据库安装和配置
http://blog.csdn.net/pipisorry/article/details/46773507Mysql数据库安装和配置、mysql语法、特殊符号及正则表达式的使用、MySQL备份与恢复下载安装mysqlDownload MySQL Installer安装时设置好管理账号和密码就好了Note:1. 本地安装时如果没有安装好dependency可能不会安装 M原创 2015-07-06 13:50:26 · 3891 阅读 · 0 评论