SQL Server探索

to_date函数在 hive、presto、spark中都有，但是差别还是挺大的。1、hive从select to_date('20220501','yyyymmdd')报错：org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: SemanticException [Error 10015]: Line 1:15 Arguments length mismatch

在开始之前，需要说明的是 要跑通基本的wordcount程序，是不需要在windows上安装 hadoop 和spark的，因为idea在跑程序的时候，会按照 pom.xml配置文件，从指定的 repository源，按照properties指定的版本，下载dependency中指定的依赖包 。如果需要在本地通过 spark-shell，或者 运行开发完的包，那么就需要完整的hadoop 和spark环境，就需要把这两个都安装好。一、需要安装的软件版本 及 下载地址jdk 1.8 ：ht.

索引的访问方式主要是 索引查找、索引扫描。（1）索引查找在执行计划中为 index seek，适用于查找少量数据。对应随机IO，能快速的定位一条数据。（2）索引扫描在执行计划中为 index scan，适合扫描整个索引的数据。对应顺序IO，IO效率本身比较高。（3）效率对比索引查找 和 索引扫描，单从IO效率上来说，肯定是索引扫描的效率更高，因为顺序

一、安装openpyxl模块C:\Users\Administrator>pip install openpyxlCollecting openpyxl Downloading openpyxl-2.4.1.tar.gz (154kB) 39% |████████████▊ | 61kB 184kB/s eta 0:00:01 46%

通过csv模块可以轻松读取格式为csv的文件，而且csv模块是python内置的，不需要下载就可以直接用。一、准备csv文件文件名是 e:\t.csv，文件内容：org_id,org_name,state,emp_id1,销售1,'1',1232,销售2,'0',3213,销售3,'1',2311,,'1',1234二、读取csv数据代码非常简单：# -*

SQL Server 2012，一、创建数据库Test、表tb、插入数据在sql server中运行如下代码：create database Test;gouse test;goif object_id('tb') is not null drop table tb;goCREATE TABLE TB(ID INT,NAME NVARCHAR(20),SCORE

最近客户需要数据库中表的数据字典，也就是需要表名、列名、列的数据类型及长度等信息。通过下面的sql，可以抓取到表的这些基本信息，注意 不包含视图的信息：SELECT D.NAME AS TABLE_NAME, A.column_id , A.NAME AS COLUMN_NAME, CASE WHEN A.IS_IDENTITY=1 THEN '√ ' ELSE '' END AS IS_IDENTITY, isnull(CASE WHEN x.is_primary_key=1 and

当维度数据发生变化时，有多种处理方式，一般会用缓慢变化维类型2来处理，也就是当维度属性发生变化时，新生成1行，同时添加 开始日期，结束日期 。比如: 业务系统中的 用户表：userId,mobile,regDate111,12345,2020-01-01222,11111,2020-02-01用户111在3月2号登录系统，修改手机号为 12222，那么缓慢变化维类型2来处理后，数据仓库中的 用户表：userId,mobile,regDate,startDate,endDate111,123

最近在开发一个KA系统的接口逻辑。这个逻辑最主要的是把抓取到的业务数据，按照匹配关系，生成匹配后的数据，放到csv文件，文件命名规则是 经销商编码+业务日期（客户BI系统按照 经销商编码+业务日期 作为文件名来覆盖历史数据），再把相同业务日期的csv文件 生成压缩包，最后把压缩包回传到客户的sftp。其中最主要的就是把原始抓取的数据，按照结存版或者最新的匹配关系，找到匹配后的标准产品和门店。正常情况下，除了最近1个月会重新刷新外，已结存数据是不会变化的，但实际上还有下面几个情况会导致数据变化：

饼图最主要是设置 标记中的 颜色、角度。效果如下：标签放到饼图内：

Tableau多线图，是指在一个图中显示多条线，而每条线展示不同的指标，同时给不同线条标记不同的颜色，以示区分。这种线图的展示方式 ，只适合指标较少的情况，如果要展示的指标很多，那么图上就会有很多不同颜色的线，显得很乱。效果如下图：变化一下线的展示形式：...

默认情况下 Tableau中的条形图的 两侧是 方形的，不是圆弧形的。下面通过2种方法来实现：1、度量值中包含了：0、销售额，标记 选择 线，就可以实现，效果更好2、和第1张图的区别是，需要在 列中增加 销售额，这样形成了第2个图，图2需要把标记设置为 条形图，在通过 选择 双轴，来合并两个图，效果不是太好，特别是右侧 圆点和 条形图右侧的方形 不一定契合。。。...

最近在开发一个报表，其中的指标要根据 所选择的 维度及属性字段，来动态计算，也就是没办法预先把结果算好。维度及属性字段共29个，那么总共产生的组合个数为：29个中选1个的组合数，29个中选2个的组合数。。。，直到 29中选择29个的组合数，把这些组合数相加，都是总的组合数。那么这29个字段的任意组合，到底有多少种可能呢？之前我预估大概是千万级，下面用python来算一算：import maths =0for i in range(1,30): n,m = 29,i r

Tableau自带标准中国地图 效果如下：使用了 Tableau Public 2020.1版本。

采用Tableau自带数据源：Rooms Available，，模仿制作的仪表板，效果如下：

效果如下：

1、基础架构2、衍生架构3、kimball架构4、混合架构

采用Tableau 自带的数据源 Sample - Coffee Chain ，模仿制作的仪表板，效果如下：

周五按照客户要求，修改任务参数，重新抽取1-5月的数据，默认情况下只会最近2个月的数据。到了周六，发现任务从早上9点到下午4点，持续了7个小时，考虑到之前一次同步4个月的数据也就是3个小时左右，正常应该早就跑完了。于是把任务给kill掉了，于是从下午4点开始rollback，还好晚上10点回滚完了。。。这次由于一次同步大量数据，导致任务运行失败的问题，我想了几点影响因素：1、这次任务为什么跑了7个小时仍然没跑完？经过监控，发现任务在近12点时，就已经运行到最后一步了，只要把数据inser

效果图一：说明：1、x轴为每个产品的销售金额，按照从大到小排序2、y轴为这些产品累积的销售金额占比，也就是 到产品的累积销售金额 除以 所有产品总的销售金额3、红色框部分表示，累积销售金额占比大于80%，箭头部分表示截止的产品，也就是说到这个产品为止，累积销售金额占比大于80%效果图二：说明：1、这张图和上一个图相比，不在显示每个产品的销售金额，而是增加了1个指标：累积产品占比，也就是按照 销售金额从大到小排序，第1个产品就是1，第2个产品就是2，以此类推，然后把 这个