小小邮电

要让自己定下心来学习一门技术,此乃安身立命之本,与心爱人共勉之!

【漫谈数据仓库5】 如何优雅地设计数据分层

本文主要讲解数据仓库的一个重要环节:如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。 本文对数据分层的讨论适合下面一些场景,超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。 数据建设刚起步,大部分的数据经过粗暴的数据接入后就直接对接业务。 数据建设发展到一定...

2018-10-29 20:54:28

阅读数:39

评论数:0

【漫谈数据仓库4】缓慢变化维度(SCD)

本文会分享数据仓库中和缓慢变化维度相关的内容。在看之前建议回顾一下和维度建模相关的知识点 为什么会分享这个听起来很奇怪的东西?因为站在的笔者的视角中,只要是做数据仓库的小伙伴们,在工作中基本上都会接触和维度建模相关的内容,而谈到维度建模,就少不了会和维度表打交道。我们要谈的就是维度表相关的知识点...

2018-10-29 20:49:17

阅读数:58

评论数:0

【漫谈数据仓库3】 拉链表

全文由下面几个部分组成: 1、先分享一下拉链表的用途、什么是拉链表。 2、举一个具体的应用场景,来设计并实现一份拉链表,最后并通过一些例子说明如何使用我们设计的这张表(因为现在 Hive 的大规模使用,我们会以 Hive 场景下的设计为例)。 3、分析一下拉链表的优缺点,并对前面的提到的...

2018-10-29 20:42:48

阅读数:55

评论数:0

【漫谈数据仓库2】维度建模

0x00 前言 前一篇已经对常用的几种数据模型做了简单的介绍,本篇主要对其中最常用的维度建模做一个深入的理解。 0x01 什么是维度建模 维度模型是数据仓库领域另一位大师 Ralph Kimball 所倡导,他的《The DataWarehouse Toolkit-The Complete ...

2018-10-29 20:33:53

阅读数:43

评论数:0

【漫谈数据仓库1】数据模型

本文引自 https://blog.csdn.net/zhaodedong/article/details/78647943 gitbook网速较慢,文章太好,忍不住重新整理。 0x00 前言 翻出来之前零零散散写的数据仓库的内容,重新修正整理成一个系列,此为第一篇《数据模型》。 数据仓库包含...

2018-10-29 20:20:47

阅读数:46

评论数:0

sourceTree密码过期后重置密码问题

问题描述:有的时候公司要求一段时间内更换密码,密码更换后,sourcetree就pull代码失败,需要删除以前保存的密码才能继续正常使用。。。。 处理:C:\Users\用户\AppData\Local\Atlassian\SourceTree 删除passwd文件就可以重新输入账号密码了...

2018-08-13 09:26:07

阅读数:1038

评论数:1

ThreadLocal本地线程变量的理解

一般的Web应用划分为展现层、服务层和持久层三个层次,在不同的层中编写对应的逻辑,下层通过接口向上层开放功能调用。在一般情况下,从接收请求到返回响应所经过的所有程序调用都同属于一个线程。 也就是说,同一线程贯通N层,不同的线程可能由于参数等不同会对程序中的某些变量进行修改,但是又要防止...

2018-07-06 19:03:47

阅读数:53

评论数:0

idea安装maven依赖包分析工具

下载idea对应版本的安装包:https://plugins.jetbrains.com/plugin/7179-maven-helper 通过idea插件安装,选择下载后的安装包导入,重启idea即可

2018-06-27 16:34:18

阅读数:468

评论数:0

github上日常用到的项目

spark: https://github.com/perwendel/spark https://github.com/perwendel/spark-kotlin https://github.com/cary-zhou/htpwdscan 前端: https://github.co...

2018-06-08 09:40:22

阅读数:338

评论数:0

Document api

文档的读写简介索引为了保证分布式,引入了分片的概念,而分片又分为主分片和副本分片。主分片是所有索引操作的入口,负责验证请求保证请求的正确性,一旦主分片接受了请求操作同时主分片也要负责把这些操作复制给副本分片。写文档模型主分片接收到请求后可以对请求验证并且转发请求到副本分片,由于有的副本可能掉线等情...

2018-01-01 12:17:13

阅读数:158

评论数:0

API约定与规范

多索引在查询语句可以指定一个索引或者多个索引,多个索引用“,”连接即可,elasticsearch也支持用通配符的方式指定多个索引,索引前缀加“-”表示把该索引排除:test1,test2,test3test*,-test3_all 表示所有的索引多索引api的url同时也支持以下参数: igno...

2017-12-31 15:25:46

阅读数:160

评论数:0

搭建elasticsearch-学习笔记

linux下启动elasticsearch 以守护进行启动elasticsearch: ./bin/elasticsearch -d -p pid 可以通过进程id来关闭elasticsearch:kill ‘cat pid’ elasticsearch可以通过配置文件elasticsearch...

2017-12-30 21:40:15

阅读数:183

评论数:0

elasticsearch开始之旅

Elasticsearch是一个开源的高可用全文本搜索和分析引擎,它可以快速(接近实时)的存、搜索和分析大量数据。elasticsearch常被用作后台技术引擎,用来增强应用复杂的搜索能力。 以下为几个elasticsearch的使用案例: ● 电商网站需要满足用户搜索售卖产品的需求,可以利用...

2017-12-29 16:44:41

阅读数:180

评论数:0

elasticsearch_插件(head、bigdesk、marvel、cerebro)

1、bigdesk bigdesk目前支持es只能支持到1.3.x版本。 https://github.com/lukas-vlcek/bigdesk#how-to-use-bigdesk 在github上找到一个版本,目前支持到es5.x。由于es5以后不支持插件形式安装,所以需要单独对b...

2017-11-30 11:23:05

阅读数:2429

评论数:1

Proxifier使用教程

http://www.williamlong.info/archives/4842.html SSH和ShadowSocks代理都属于Socks5代理,不能像VPN那样把整个电脑都代理。因此,一般情况下只有支持Socks5的软件才能使用ssh、shadowsocks代理。本文就给大家介绍下如何通过...

2017-08-30 23:09:08

阅读数:2592

评论数:0

通过代理安装pip,及scrapy安装报错记录

首先需要安装python环境, 运行命令:python get-pip.py 即可安装成功pip,如果需要用代理,可替换该命令为:python get-pip.py --proxy="[user:passwd@]proxy.server:port" pip管理包的问题 pi...

2017-07-26 17:47:38

阅读数:754

评论数:0

[kibana源码]增加菜单项

问题描述: 由于kibana与另外一个系统需要添加超链关系,因此需要在kibana系统设置菜单前面增加一个菜单项。源码讲解: kibana的系统菜单都是在kibana.js(src\plugins\kibana\public\kibana.js)中进行可配置的。.setTabs([ { ...

2017-05-13 10:14:23

阅读数:1996

评论数:0

linux下安装nodejs及linux下解压tar.xz文件

1、下载nodejs的安装包 2、解压该文件 在linux下,大部分情况下不能直接解压tar.xz的文件。 需要用xz -d xxx.tar.xz 将 xxx.tar.xz解压成 xxx.tar 然后,再用 tar xvf xxx.tar来解包3、修改/etc/profile文件 增加以下内...

2017-05-11 14:49:59

阅读数:7107

评论数:2

angularjs-$http跨域访问报错的问题

在angularjs中实现$http的跨域访问,最好的方式是用jsonp的形式。1. 指定callback和回调函数名,函数名为JSON_CALLBACK时,会调用success回调函数,JSON_CALLBACK必须全为大写。 2. 指定其它回调函数,但必须是定义在window下的全局函数。ur...

2017-05-09 19:38:03

阅读数:1058

评论数:0

elasticsearch-logstash-kibana中文文档

gitbook:https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details baidu:http://pan.baidu.com/s/1gfsY9qV

2017-04-19 18:39:38

阅读数:1291

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭