十五楼亮哥
码龄9年
  • 1,855,590
    被访问
  • 468
    原创
  • 1,221,379
    排名
  • 706
    粉丝
  • 3
    铁粉
关注
提问 私信

个人简介:肯与邻翁相对饮,隔篱呼取尽馀杯。

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:河北省
  • 加入CSDN时间: 2014-02-10
博客简介:

十五楼亮哥

博客描述:
肯与邻翁相对饮,隔篱呼取尽馀杯。
查看详细资料
个人成就
  • 获得445次点赞
  • 内容获得207次评论
  • 获得1,256次收藏
创作历程
  • 7篇
    2021年
  • 35篇
    2018年
  • 5篇
    2017年
  • 85篇
    2016年
  • 350篇
    2015年
  • 19篇
    2014年
成就勋章
TA的专栏
  • 数仓开发实战笔记
    付费
    6篇
  • Python笔记
    29篇
  • Java笔记
    139篇
  • IT工作杂谈
    56篇
  • RestFul架构
    17篇
  • 数据库笔记
    39篇
  • Linux笔记
    23篇
兴趣领域 设置
  • 大数据
    hadoopetl
  • 数据库管理
    数据仓库
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

gooseeker-master.rar

发布资源 2021.09.24 ·
rar

第六章:数据治理

1、数据治理的概念数据治理并不是一个新生事物,可以说,有数据的地方就存在数据治理,只不过随着数据应用的迅猛发展将它提到了一个高度,作为一个独立的研究领域。数据治理并没有标准的、严格的定义,概况地讲所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。2、数据治理的目标Ensure metadata management and data documentation。确保元数据管理和数据文档Simplify data access and facilitate data usage a
原创
发布博客 2021.01.29 ·
295 阅读 ·
0 点赞 ·
0 评论

第五章 节点开发

1、DDL建表语句表和字段必须有描述信息drop表前面加上IF EXISTS判断create表前面加上IF NOT EXISTS判断设置合理的生命周期,保证有用的历史数据不被删除,同时避免存储资源浪费使用常见的字段类型 DataTime、Bigint、Double、String,如使用其他字段,需要项目组评估DROP TABLE IF EXISTS ITSL_dev.dwd_sl_ams_tb_vms_cs_carinfo_d ;CREATE TABLE IF NOT EXISTS ITS
原创
发布博客 2021.01.28 ·
152 阅读 ·
0 点赞 ·
0 评论

第四章:数据建模

1、数据建模的意义设想一下:情景1:如果需要建一个工厂,需要加入一条新的线路,上面2个情况,哪个更容易加呢?情景2:如果线路发生故障,需要排查问题点在哪里,上面2个情况,哪个更容易呢?这就引出了数据建模的作用:加快数据的运算效率,更方便扩展,适应新的数据产品需求。2、数据落仓将业务数据、日志数据、爬虫数据通过ETL工具,加载到数据中台的ODS层进行存储,这个过程就叫数据落仓。3、数据探索数据落仓之后,需要数仓开发人员,申请相关ODS层表的读取权限,审核通过之后,就可以进行数据探索了。数
原创
发布博客 2021.01.27 ·
212 阅读 ·
0 点赞 ·
0 评论

Oracle表空间利用率

表空间利用率:SELECT a.tablespace_name, --total "表空间大小", -- free "表空间剩余大小", -- (total - free) "表空间使用大小", total / (1024 * 1024 * 1024) "表空间大小(G)", (total - free) / (1024 * 1024 * 1024) "表空间使用大小(G)", free / (1024 * 1024 * 1024) "表空
原创
发布博客 2021.01.26 ·
263 阅读 ·
0 点赞 ·
0 评论

第三章:数据采集

数据采集,在数仓开发过程中至关重要,它要求数据类型全、数据量完整、尽可能覆盖数据流转的各个环节,它是数仓建设的核心底座,毕竟巧妇难为无米之炊嘛。1、数据的来源(1)数据库数据库不用过多介绍,业务系统例如CRM、ERP、财务系统等等,每天都会生成大量的业务数据,存储在mysql、SqlServer、Oracle等关系型数据库中。(2)日志日志也是采集数据的重要来源,因为日志记录了程序执行的情况,例如用户登录数据、用户操作数据等,使用这些数据可以统计PV、UV等指标。(3)前端埋点用户很多前端请求
原创
发布博客 2021.01.26 ·
591 阅读 ·
0 点赞 ·
2 评论

第二章:指标管理

这里涉及到两个概念:数据指标和指标体系。数据指标:对业务中产生的内部数据或者互联网中爬取的外部数据,按照一定的业务逻辑,使用一定的技术手段进行加工处理,能够描述、分析、预测业务的结果数据。指标体系:‍指标体系是将零散单点的具有相互联系的指标,系统化的组织起来,通过单点看全局,通过全局解决单点的问题。那就产生了一个问题,既然有了指标,干嘛还需要指标体系呢?一个指标没办法解决复杂的业务问题,这就需要使用多个指标从不同维度来评估业务,也就是使用指标体系。比如说衡量一个淘宝店的业务发展,我们可以用一个核心
原创
发布博客 2021.01.26 ·
680 阅读 ·
0 点赞 ·
0 评论

第一章:专栏大纲

很多人数仓开发人员有一个误解,认为数仓开发的门槛极低,只需要会写SQL就可以了。其实不然,专业的数仓开发需要很多方便的知识沉淀,包括但不限于:需求理解,培养业务sense,指标梳理、数据采集、落仓、数据探索、数据建模、调度配置、数仓上线、数据核对、数仓下线等等。会搭建数仓不难,但是搭建一个规范的、高效的、高扩展的、低成本的数据仓库,绝对不是一件简单的事情。这既要知识面的宽度,更需要知识面的深度,当然少不了需要经验的积累。这里的经验就是多做项目,多踩坑,经过不断的总结和提升,你就能在新的项目和产品中少走一些
原创
发布博客 2021.01.26 ·
144 阅读 ·
0 点赞 ·
1 评论

导出sqlserver数据库设计语句

SELECT 表名 = Case When A.colorder=1 Then D.name Else '' End, 表说明 = Case When A.colorder=1 Then isnull(F.value,'') Else '' End, 字段序号 = A.colorder, 字段名 = A.name, ...
原创
发布博客 2018.11.24 ·
622 阅读 ·
1 点赞 ·
0 评论

Eclipse常见问题以及解决办法

1、Eclipse Console输出日志中文乱码解决办法:直接打开eclipse的ini,在最后一行加上-Dfile.encoding=utf-8
原创
发布博客 2018.11.20 ·
588 阅读 ·
0 点赞 ·
0 评论

Eclipse常见问题以及解决办法

1、Eclipse Console输出日志中文乱码解决办法:直接打开eclipse的ini,在最后一行加上-Dfile.encoding=utf-8
原创
发布博客 2018.11.20 ·
588 阅读 ·
0 点赞 ·
0 评论

HttpAndHttpsProxy接口访问工具类,支持代理

package com.unis.core;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.PrintWriter;import java.net.HttpURLConnection;import java.net.Inet...
原创
发布博客 2018.11.15 ·
1178 阅读 ·
0 点赞 ·
0 评论

Ajax-hook拦截所有的Ajax请求

在解决同一个浏览器登录多个账户,解决sesson覆盖问题的时候,我想到的办法是为每一个用户的session定义唯一的key,例如“sessionUser”+accessToken.accessToken是登录校验成功后,生成的唯一字符串,你可以使用UUID策略。这样,我需要给所有的ajax请求带上这个accessToken,有没有简单的办法,有的,Ajax-hook可以做到。Ajax-hook...
原创
发布博客 2018.11.14 ·
8718 阅读 ·
0 点赞 ·
0 评论

Shiro框架基本概念

1、SubjectSubject一词是一个安全术语,其基本意思是“当前的操作用户”。称之为“用户”并不准确,因为“用户”一词通常跟人相关。在安全领域,术语“Subject”可以是人,也可以是第三方进程、后台帐户(Daemon Account)、定时作业(Corn Job)或其他类似事物。它仅仅意味着“当前跟软件交互的东西”。但考虑到大多数目的和用途,你可以把它认为是Shiro的“用户”概念。在...
原创
发布博客 2018.11.14 ·
226 阅读 ·
0 点赞 ·
0 评论

shiro登录成功后,没有跳转到配置的SuccessUrl

debug后跟进去观察后发现FormAuthenticationFilter成功登陆后,会调用它的onLoginSuccess方法。 protected boolean onLoginSuccess(AuthenticationToken token, Subject subject, ServletRequest re...
原创
发布博客 2018.11.13 ·
6519 阅读 ·
0 点赞 ·
2 评论

shiro将ServletHttpSession包装成了ShiroHttpSession

最近在做Oauth SSO单点登录集成,目标有三个:A:各个业务系统在统一门户登录,各业务系统不用再次登录,即SSO;B:原来各业务系统的登录入口暂时保留;C:解决同一个浏览器登录多个账户,session覆盖的问题。因为业务系统使用的是SpringMVC,并且使用了shiro安全框架。我的实现逻辑是,先执行OauthFilter,后执行Shiro认证。但是在shiro中session设置...
原创
发布博客 2018.11.13 ·
3911 阅读 ·
2 点赞 ·
0 评论

SqlServer智能提示插件SQLPrompt

需要安装插件:SQLPrompt插件安装地址:插件安装方法:先安装SQLPrompt_6.3.0.344.exe打开SQL Server Management Studio,可以看到出现一个新的菜单:SQL Prompt打开 SQL Prompt ->help -> Enter Serial Number先断开网络,然后运行注册机SQL.Prompt.Keygen.exe...
原创
发布博客 2018.10.22 ·
9179 阅读 ·
1 点赞 ·
1 评论

你确定懂「用户画像」?来点基础知识

大数据助力企业营销的核心在于:在「合适的时间」,基于对用户的了解,把你希望推送的东西通过「合适的载体」,以「合适的方式」,推送给「合适的人」。一:什么是标签体系说到客户标签,不得不说用户画像。用户画像,有个类似的概念叫「受众定向」。“用户画像”既有人口属性、生活状态这些基本静态信息,又包括用户“最近要不要旅游”、“准备买多少钱的车”这样能驱动直接效果的动态信息。从这层意思来看,用“受众定向”更...
原创
发布博客 2018.10.20 ·
976 阅读 ·
0 点赞 ·
0 评论

spring框架学习源码

发布资源 2018.10.04 ·
zip

SpringCloud框架初探(七) :Zuul API路由功能

API网关是一个更为智能的应用服务器,它的定义类似于面向对象设计模式中的Facade模式,它的存在就像是整个微服务架构系统的门面一样,所有的外部客户端访问都需要经过它来进行调度和过滤。它除了要实现请求路由、 负载均衡、 校验过滤等功能之外,还需要更多能力,比如与服务治理框架的结合、请求转发时的熔断机制、服务的聚合等一系列高级功能。在SpringCloud中了提供了基于NetflixZuul实现的A...
原创
发布博客 2018.10.04 ·
432 阅读 ·
0 点赞 ·
1 评论
加载更多