qq_35921007的博客

在维度建模理论中，有8种处理方式，包括基础的5种以及混合的3种。再加上大数据时代的2种极限型，共10种，具体如下：

reduce和reduceByKey，多了ByKey，相差了很多。

目录1 窗口函数 Windowing functionsFIRST_VALUE(col, bool DEFAULT)LAST_VALUE(col, bool DEFAULT)LEAD(col, n, DEFAULT)LAG(col, n, DEFAULT)2 OVER详解 The OVER clauseFUNCTION(expr) OVER([PARTITION BY ...

场景使用spark同步hbase数据至hive报错信息at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas.throwEnrichedException(RpcRetryingCallerWithReadReplicas.java:276)at org.apache.hadoop.hbase.clie...

数据屏蔽函数 Data Masking Functionsmask(string str[, string upper[, string lower[, string number]]])返回结果: 将字符串str中的大写字母替换为upper（默认为X），小写字母替换为lower（默认为x），数字替换为number（默认为n）返回类型: stringselect mask(...

字符串函数 String Functionsascii(string str)返回结果: 返回字符串str首字母的十进制ascii码 返回类型: int select ascii('ABC');-- 结果为 65base64(binary bin)返回结果: 将二进制转换为base64编码 返回类型: string select base64(encode('Uncle B...

# 集合函数 Collection Functions## size(Map<K.V>)返回结果：返回Map中的元素个数返回类型：int* select size(str_to_map('k1: v1')); -- 结果为 1* select size(str_to_map('k1:v1,k2:v2')); -- 结果为 2## size(Array...

为了方便测试，创建了dual表，该表只有一个字段以及只有一行数据，建表语句如下：CREATE TABLE dual ( x INT)函数名称：round(DOUBLE a)，返回类型：DOUBLE返回数字 a 四舍五入后的值select round(1.5) from dual; -- 结果为 2select round(1.1) from dual; -- 结果为...

1 缓慢变化维说到历史拉链表，首先得说下缓慢变化维。在现实世界中，维度的属性并不是静态的，而是随着时间的变化而变化，这也体现了数据仓库的特点之一，是反映历史变化的。相对于数据增长较为快速的事实表，维度的变化是相对缓慢的。在维度建模理论中，处理缓慢变化维有三种方式：新的维度属性直接覆盖旧的维度属性，不保留历史数据； 增加新的维度行（需要生成代理键来支持），维度变化前的事实关联...

背景有时候我们需要将图片中的表格数据提取出来进行再次编辑，但一个字一个字的敲出来是件非常麻烦的事。有没有更好的办法，一键提取图片中的表格数据，并转成Excel。这时候，就需要用到OCR技术了。OCR传统OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后...

热点1：Python——画一棵漂亮的樱花树（不同种樱花+玫瑰+圣诞树喔）摘要：最近翻到一篇知乎，上面有不少用Python（大多是turtle库）绘制的树图，感觉很漂亮，我整理了一下，挑了一些我觉得不错的代码分享给大家（这些我都测试过，确实可以生成）one 樱花树动态生成樱花效果图（这个是动态的）：实现代码import turtle as Timport random...

Clash RoyaleAPI通过Clash RoyaleAPI你可以准确并安全的访问皇室战争的数据，获取美妙的体验，开发令人惊叹的工具或是网站。Clash RoyaleAPI保持和游戏本身一样的质量保准，而且持续开发和改进着。第三方包：clashroyaleclashroyale是一个用python编写的支持异步和同步的对于官方Clash Royale API的封装。...

一、背景使用Python，打通Impala通道，实现取数自动化，或是作为数据分析的数据源。二、Apache ImpalaImpala是一个开源的，基于Hadoop的分析型数据库。Impala可以查询存储在HDFS或者HBase中的数据。Impala通过专用分布式查询引擎，绕过MapReduce直接访问数据，查询性能远高于Hive。三、impyla基于HiveServ...

1 背景有时候，我们想不起自己记录的信息在哪个文件里，需要一个个打开文件查找，非常麻烦。这时候，我们可以借助python，实现一键快速查找。2 环境Python 3.7.3 64-bittkinterre3 os.walk()os.walk方法用于遍历目录和文件，简单易用，可以帮助我们高效的处理目录、文件方面的事情os.walk方法语法格式如下：os.wa...

1 背景Make your clipboard data no longer easy to lose2 环境Python 3.7.3 64-bitpywin32 2243 win32clipboard优点：速度快缺点：不跨平台获取文本import win32clipboard as clipclip.OpenClipboard() # 打开剪贴板cli...

1 背景当我们在tkinter-GUI编程时，需要考虑如下场景的需求：用户需要动态调整子窗口的大小，以改变信息的可见范围。这时候，就需使用到推拉窗组件，Panedwindow。推拉窗根据推拉方向不同分为水平推拉窗和垂直推拉窗两种，并支持嵌套。2 环境Python 3.7.3 64-bit3水平方向推拉窗from tkinter import NSEW, HORIZO...

1 背景因为某些原因，我们的Excel里会放入一些图片链接，但查看的时候需要一个个点开，通过浏览器显示，非常麻烦。我们可以通过python的openpyxl这个库来解决此问题，一键替换所有链接为图片。2 环境Python 3.7.3 64-bitopenpyxl 3.0.0 （用于操作Excel）requests 2.22.0 （用于下载图片）validators 0....

1 背景在使用tkinter进行GUI编程时，有时会碰到界面未响应的情况，如下：2 解决办法原因很有可能是执行的某个动作阻塞了线程，可通过使用threading.Thread解决（本例中是点击了Go菜单下的开始选项导致的界面卡死）2.1 解决方法1 - 使用线程封装该动作修改前代码：class MenuGo(EMenu): LABEL_GO = "Go" ...

解决办法：增加--no-cache-dirpip --no-cache-dir install pyspark