- 博客(166)
- 收藏
- 关注
RSS订阅转载 utf8 与 utf8mb4
而在各类符号文字逐步发展的过程中，像是包括 Emoji 表情(Emoji 是一种特殊的 Unicode 编码，常见于 ios 和 android 手机上)，和很多不常用的汉字，以及任何新增的 Unicode 字符等等都需要进行编码，所以utf8mb4应运而生，这也是两者最本质的区别。原来mysql支持的 utf8 编码最大字符长度为 3 字节，如果遇到 4 字节的宽字符就会插入异常了。，Unicode 和 部分超出Unicode的相关文字，并对他们进行最大三字节可变长度的二进制编码。
2022-11-15 14:04:12
1043
原创 information_schema.tables说明
表类型[system view|base table]使用的数据库引擎[MyISAM|CSV|InnoDB]行格式[Compact|Dynamic|Fixed]做自增主键的自动增量当前值。数据表所属的数据库名。
2022-11-15 13:55:52
754
原创 文件和文件夹函数（Python）
mark。 函数名 作用 os.getcwd() 返回当前工作目录的名称 os.listdir(p) 返回一个字符串列表，其中包含路径p指定的文件夹中所有的文件和文件夹的名称 os.chdir(p) 将当前工作目录设置为路径p os.path.isfile(p) 当路径p指定的是一个文件的名称时，返回true
2022-01-10 10:04:47
403
原创 字典函数（Python）
mark。 函数名 返回值 d.items() 返回一个由字典d的键值对组成的视图view d.keys() 返回一个由字典d的键组成的视图 d.values() 返回一个由字典d的值组成的视图 d.get(key) 返回与key相关联的值 d.pop(key) 删除
2022-01-10 10:03:42
529
原创 列表函数（python）
整理。 函数名 返回值 s.append(x) 在列表s末尾添加元素x s.count(x) 返回x在s中出现的次数 s.extend(lst) 将lst的所有元素都添加到列表s的末尾 s.index(x) 返回第一次x元素的索引 s.insert(I,x) 将x元素
2022-01-10 09:36:43
936
原创 字符串函数（python）
整理，备用。 函数名 返回值 s.find(t) 如果没有找到子串t ，则返回-1；否则返回t在s中的起始位置。 s.rfind(t) 与find相同，从右往左搜索。 s.index(t) 与find相同，如果在t中找不到，会报错 valueerror。 s.rindex(t) 与index相同，但从右往左搜
2022-01-05 14:48:06
643
原创 表计算函数（Tableau）
知识整理。1. TOTAL函数公式为TOTAL(expression)，表示返回给定表达式（expression）的总计。例如，TOTAL(SUM([人工服务接听量]))，用于计算各自分区中全部行的SUM(人工服务接听量)。2. SIZE函数公式为SIZE()，表示返回分区中的行数。如果当前分区包含5行，则SIZE()=5。3. PREVIOUS_VALUE函数公式为PREVIOUS_VALUE(expression)，表示返回此计算在上一行中的值，如果当前行是分区的第一行，
2022-01-05 10:26:04
5239
原创 聚合函数（Tableau）
整理。 函数 含义 ATTR 函数公式为ATTR(expression)，如果对expression所有行都有一个值，则返回该值，否则返回星号，会忽略 Null 值 AVG 函数公式为AVG(expression)，返回expression中所有值的平均值。AVG 只能用于数字字段，计算时会忽略 Null 值 COUNT 函数公式为COUNT(exp
2022-01-05 10:21:52
513
原创 逻辑函数（Tableau）
知识整理。1. IFIF函数的常用表达形式为IF test THEN value ENDIF test THEN value1 ELSE value2 ENDIF test1 THEN value1 ELSEIF test2 THEN value2 ELSEIF test3 THEN value3 … END。使用IF test THEN value END时，先对test进行判断，如果为True 则返回value，否则为Null。例如IF [当期值]>10000 then
2022-01-05 10:19:36
6370
原创 类型转换（Tableau）
函数 含义 示例 DATE 函数公式为DATE(expression)，表示在给定数字、字符串或日期表达式的情况下返回日期. DATE("August 15, 2014") = #August 15,2014# DATETIME 函数公式为DATETIME(expression)，表示在给定数字、字符串或日期表达式的情况下返回日期时间 ...
2022-01-05 10:17:21
802
原创 日期函数（Tableau）
Year 四位数年份 Quarter 1~4 Month 1~12 Dayofyear 一年中的第几天 Day 1~31 Weekday 1~7 Week 1~52 Hour 0~23...
2022-01-05 10:15:58
3142
1
原创 字符串函数（Tableau）
字符串函数 函数 含义 示例 ASCII 字符串第一个的ascii码值 ASCII(“applod”) = 97 CHAR ASCII代码转为字符 CHAR(65) = ‘A’ CONTAINS 判断字符串是否包含子字符串 CONTAINS(“HAPPY”,”AP
2022-01-05 10:12:56
767
原创 数字函数（Tableau）
总结。数字函数 函数 含义 示例 ABS 绝对值 ABS(-7) DIV 返回除法的整数部分 DIV(11,2) = 5 EXP e的给定数字次幂 EXP(5) = e^5 MAX 最大
2022-01-05 10:09:36
185
原创 拉链，切片加载
mark一下，GCK。# 拉链select *from table_namewhere start_date <= $date and end_date > $date# 切片select pa.*from ( select *,row_number() over(partition by col_name order by data_date desc) rn from table_name where data_date <= $date.
2022-01-04 16:42:35
202
原创 GP文本处理（GP）
拼接eg： select trm_date||' + ' as new_date from <table_name>截取固定长度eg： select dtbs::char(8)
2022-01-04 16:09:38
406
原创 GP日期（GP）
时间计算方式：interval'10 min/ year/ month/ day/ hour/ sec部分参考吧。 Select date_trunc('quarter',now() ) 本季度第一天 date_trunc('quarter',now() + interval'3 month' ) 下季度第一天 date_trunc('quarter',now() - interval'3 month
2022-01-04 16:07:04
1581
原创 Merge(ORACLE)
很实用的一个了。离职前mark一下，做一些备忘吧。建表插值t1. alias t1.valaa 10bb 20t2. alias t2.valaa 40cc 30# 常规理解很简单，满足条件做update ，新的那么做insert。merge into t2using t1on (t1.alias = t2.alias)when matched then update set t2.val = t2.val + t1.valwhen not ma
2022-01-04 16:01:04
831
原创 CUBE分组（ORACLE）
CUBE可以实现各个层级的分组统计。建测试表 t1：SELECT alias ,department ,sum(val) as valFROM t1GROUP BY CUBE(alias,department);结果如下：
2022-01-04 15:14:56
497
原创 intersect函数（ORACLE）
作用类似于inner join。# 作用等价# 1.inner joinSELECT a , b FROM test1innner join SELECT a , b FROM test2# 2.intersectSELECT a , b FROM test1intersectSELECT a , b FROM test2
2022-01-04 15:06:44
2818
原创 GROUPING SETS分组（ORACLE）
关于Grouping Sets 这种分组小计的用法，用于直白的读取一些统计信息。建一个test用表 ，字段值如上所示。代码所示如下：SELECT alais ,department ,SUM(val) as valFROM T1GROUP BY GROUPING SET(alias,department);结果如下：...
2022-01-04 15:00:44
429
原创 Hive与传统数据仓库的比较
知识的整理。 Hive 数据仓库 存储 HDFS，理论上有无限拓展的可能。 集群存储，存在容量上线。伴随容量上升，分析性能下降，只能适用于数据量比较小的商业应用，对于超大规模的数据无能为力。 执行引擎 依赖于MapReduce框架，可进行的各类优化比较少，但是比较简单。 可以执行更加高效的算法，也可以进行更多的优化措施来提.
2022-01-04 11:04:37
548
原创 Hive——架构中一些名词的解释
整理知识。Metastore存储表，列，partition等元数据，为关系型数据库。Compiler编译HiveQL并将其转化为一系列的相互依赖的Map/Reduce任务。Optimizer优化器，分为逻辑优化器跟物理优化器。分别对HiveQL生产的执行计划跟MapReduce任务进行优化。Execution Engine按照任务的依赖关系分别执行Map/Reduce任务。Thrift Server提供thrift接口，作为JDBC , ODBC
2021-12-29 15:49:44
2033
原创 SQLPLUS导出表结构（Oracle）
select dbms_metadata.get_ddl('table','table_name') from dual
2021-12-29 15:45:40
1760
原创 数据管理的一些概念
整理的知识，备用。主题域： C模型是企业级模型，数据面向主题组织。主题域（Subject Area）模型是对业务模型的抽象，根据业务要求将数据模型管理员织成一些独立完整的领域，每个主题域对应某一领域所涉及的数据实体对象，并在较高层次上对该领域内数据实体进行完整一致的描述。C模型： C模型是企业级的业务数据模型，展现业务流程需要管理、使用和保存的业务信息。C模型是标准化、结构化、具有一定级别抽象的数据模型。C模型发布件： 包含基本词、类词，域清单、代码表值清单、唯一属性清单、实体属性映射关系、主题
2021-12-29 15:42:58
1590
原创 GP——行列拼接
基本用法 ： string_agg(columnname , ' ')第一列为a ，第二列为b写法：select a ,string_agg(b, ' ') as cfrom table结果：
2021-12-29 15:40:10
482
原创 GP——切片表的退链
Delete from schema.table_name where data_date = date'20211102';
2021-12-29 15:34:40
168
原创 GP——拉链表的退链
Delete from schema.table_nameWhere start_date >= date'20211102' ;Update schema.table_nameSet end_date = date'2999-12-31'Where end_date >= date'20211102' ;
2021-12-29 15:33:26
676
原创 GP——数据库常用命令
整理资料，备用。常用工具服务器交换密钥 ： gpssh-exkey 批量登录服务器 ： gpssh 批量复制 ： gpscp基本命令启动数据库 ： gpstart gpstart 正常起数据库 gpstart -R 维护模式，普通用户无法登陆，只有超级用户能登陆 gpstart -m 只起master，起了后，只能用utility模式去登录master。utility模式登录，只连某个实例。 停止数据库 ： gpstop gpstop 正常停止数据，如果数据库还有连接
2021-12-29 15:30:32
4480
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人