十五楼亮哥

1、数据治理的概念数据治理并不是一个新生事物，可以说，有数据的地方就存在数据治理，只不过随着数据应用的迅猛发展将它提到了一个高度，作为一个独立的研究领域。数据治理并没有标准的、严格的定义，概况地讲所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。2、数据治理的目标Ensure metadata management and data documentation。确保元数据管理和数据文档Simplify data access and facilitate data usage a

1、DDL建表语句表和字段必须有描述信息drop表前面加上IF EXISTS判断create表前面加上IF NOT EXISTS判断设置合理的生命周期，保证有用的历史数据不被删除，同时避免存储资源浪费使用常见的字段类型 DataTime、Bigint、Double、String，如使用其他字段，需要项目组评估DROP TABLE IF EXISTS ITSL_dev.dwd_sl_ams_tb_vms_cs_carinfo_d ;CREATE TABLE IF NOT EXISTS ITS

1、数据建模的意义设想一下：情景1：如果需要建一个工厂，需要加入一条新的线路，上面2个情况，哪个更容易加呢？情景2：如果线路发生故障，需要排查问题点在哪里，上面2个情况，哪个更容易呢？这就引出了数据建模的作用：加快数据的运算效率，更方便扩展，适应新的数据产品需求。2、数据落仓将业务数据、日志数据、爬虫数据通过ETL工具，加载到数据中台的ODS层进行存储，这个过程就叫数据落仓。3、数据探索数据落仓之后，需要数仓开发人员，申请相关ODS层表的读取权限，审核通过之后，就可以进行数据探索了。数

表空间利用率：SELECT a.tablespace_name, --total "表空间大小", -- free "表空间剩余大小", -- (total - free) "表空间使用大小", total / (1024 * 1024 * 1024) "表空间大小(G)", (total - free) / (1024 * 1024 * 1024) "表空间使用大小(G)", free / (1024 * 1024 * 1024) "表空

数据采集，在数仓开发过程中至关重要，它要求数据类型全、数据量完整、尽可能覆盖数据流转的各个环节，它是数仓建设的核心底座，毕竟巧妇难为无米之炊嘛。1、数据的来源(1)数据库数据库不用过多介绍，业务系统例如CRM、ERP、财务系统等等，每天都会生成大量的业务数据，存储在mysql、SqlServer、Oracle等关系型数据库中。(2)日志日志也是采集数据的重要来源，因为日志记录了程序执行的情况，例如用户登录数据、用户操作数据等，使用这些数据可以统计PV、UV等指标。(3)前端埋点用户很多前端请求

这里涉及到两个概念：数据指标和指标体系。数据指标：对业务中产生的内部数据或者互联网中爬取的外部数据，按照一定的业务逻辑，使用一定的技术手段进行加工处理，能够描述、分析、预测业务的结果数据。指标体系：‍指标体系是将零散单点的具有相互联系的指标，系统化的组织起来，通过单点看全局，通过全局解决单点的问题。那就产生了一个问题，既然有了指标，干嘛还需要指标体系呢？一个指标没办法解决复杂的业务问题，这就需要使用多个指标从不同维度来评估业务，也就是使用指标体系。比如说衡量一个淘宝店的业务发展，我们可以用一个核心

很多人数仓开发人员有一个误解，认为数仓开发的门槛极低，只需要会写SQL就可以了。其实不然，专业的数仓开发需要很多方便的知识沉淀，包括但不限于：需求理解，培养业务sense，指标梳理、数据采集、落仓、数据探索、数据建模、调度配置、数仓上线、数据核对、数仓下线等等。会搭建数仓不难，但是搭建一个规范的、高效的、高扩展的、低成本的数据仓库，绝对不是一件简单的事情。这既要知识面的宽度，更需要知识面的深度，当然少不了需要经验的积累。这里的经验就是多做项目，多踩坑，经过不断的总结和提升，你就能在新的项目和产品中少走一些

SELECT 表名 = Case When A.colorder=1 Then D.name Else '' End, 表说明 = Case When A.colorder=1 Then isnull(F.value,'') Else '' End, 字段序号 = A.colorder, 字段名 = A.name, ...

1、Eclipse Console输出日志中文乱码解决办法：直接打开eclipse的ini，在最后一行加上-Dfile.encoding=utf-8

1、Eclipse Console输出日志中文乱码解决办法：直接打开eclipse的ini，在最后一行加上-Dfile.encoding=utf-8

package com.unis.core;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.PrintWriter;import java.net.HttpURLConnection;import java.net.Inet...

在解决同一个浏览器登录多个账户，解决sesson覆盖问题的时候，我想到的办法是为每一个用户的session定义唯一的key，例如“sessionUser”+accessToken.accessToken是登录校验成功后，生成的唯一字符串，你可以使用UUID策略。这样，我需要给所有的ajax请求带上这个accessToken,有没有简单的办法，有的，Ajax-hook可以做到。Ajax-hook...

1、SubjectSubject一词是一个安全术语，其基本意思是“当前的操作用户”。称之为“用户”并不准确，因为“用户”一词通常跟人相关。在安全领域，术语“Subject”可以是人，也可以是第三方进程、后台帐户（Daemon Account）、定时作业（Corn Job）或其他类似事物。它仅仅意味着“当前跟软件交互的东西”。但考虑到大多数目的和用途，你可以把它认为是Shiro的“用户”概念。在...

debug后跟进去观察后发现FormAuthenticationFilter成功登陆后，会调用它的onLoginSuccess方法。 protected boolean onLoginSuccess(AuthenticationToken token, Subject subject, ServletRequest re...

最近在做Oauth SSO单点登录集成，目标有三个：A：各个业务系统在统一门户登录，各业务系统不用再次登录，即SSO；B：原来各业务系统的登录入口暂时保留；C：解决同一个浏览器登录多个账户，session覆盖的问题。因为业务系统使用的是SpringMVC，并且使用了shiro安全框架。我的实现逻辑是，先执行OauthFilter，后执行Shiro认证。但是在shiro中session设置...

需要安装插件：SQLPrompt插件安装地址：插件安装方法：先安装SQLPrompt_6.3.0.344.exe打开SQL Server Management Studio，可以看到出现一个新的菜单：SQL Prompt打开 SQL Prompt ->help -> Enter Serial Number先断开网络，然后运行注册机SQL.Prompt.Keygen.exe...

大数据助力企业营销的核心在于：在「合适的时间」，基于对用户的了解，把你希望推送的东西通过「合适的载体」，以「合适的方式」，推送给「合适的人」。一：什么是标签体系说到客户标签，不得不说用户画像。用户画像，有个类似的概念叫「受众定向」。“用户画像”既有人口属性、生活状态这些基本静态信息，又包括用户“最近要不要旅游”、“准备买多少钱的车”这样能驱动直接效果的动态信息。从这层意思来看，用“受众定向”更...

API网关是一个更为智能的应用服务器，它的定义类似于面向对象设计模式中的Facade模式，它的存在就像是整个微服务架构系统的门面一样，所有的外部客户端访问都需要经过它来进行调度和过滤。它除了要实现请求路由、 负载均衡、 校验过滤等功能之外，还需要更多能力，比如与服务治理框架的结合、请求转发时的熔断机制、服务的聚合等一系列高级功能。在SpringCloud中了提供了基于NetflixZuul实现的A...