自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据之路

专注数据架构 外功修行,内功修神

  • 博客(19)
  • 资源 (3)
  • 论坛 (1)

原创 统计中纬度与指标的区别

在统计分析系统中,维度:是分析的角度。如流量来源(广告、搜索引擎等),上网方式等 。指标:是用数值来量化分析维度。是衡量数据的  指标是指可以按总数或比值衡量的具体维度元素。例如,维度“城市”可以计算指标“人口”,其值为具体城市的居民总数。又例如,衡量某个渠道来源的流量所浏览的网页数(浏览量即pv),流量在网站上的平均停留时间等此外:指标是事实指标是维度的一个点

2015-12-28 00:01:51 4044

原创 ClusterId read in ZooKeeper is null 处理

ClusterId read in ZooKeeper is null.Re-running the program after fixing issue 1 will result in the following error in the log file (Oddly logged at INFO level)13/12/11 09:45:33 INFO zookeeper.

2015-12-22 17:33:54 14399 3

转载 千万级规模高性能、高并发的网络架构经验分享

千万级规模高性能、高并发的网络架构经验分享主 题 :INTO100沙龙时间 :2015年11月21日下午地点 :梦想加联合办公空间分享人:卫向军(毕业于北京邮电大学,现任微博平台架构师,先后在微软、金山云、新浪微博从事技术研发工作,专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域。)架构以及我理解中架构的本质在开始谈我对架构本质的理解之前,

2015-12-21 23:02:59 1926 1

转载 数据集市

1.  什么是数据集市?数据集市与数据仓库的区别?       数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面

2015-12-21 01:20:43 3010

转载 支付宝数据建模介绍

支付宝数据建模介绍

2015-12-21 00:42:32 1382

原创 hive executeTask被interrupt处理

java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "hadoop008/192.168.28.77"; destination host is: "hadoop004":8020; at org.a

2015-12-20 11:22:56 2147 3

原创 Linux网络进程监控工具nethogs

Linux网络监控工具nethogs标签: 监控工具linux2015-12-17 22:06 448人阅读 评论(0) 收藏 举报 分类:linux(40) 版权声明:本文为博主原创文章,未经博主允许不得转载。Nethogs 是一个终端下的网络流量监控工具,它的特别之处在于可以显示每个进程的带宽占用情况,这样可以更直观获

2015-12-19 09:19:43 972

转载 linux系统关闭IPv6的方式

云服务器 ECS > Linux操作运维问题 > 应用配置 > linux系统关闭IPv6的方式linux系统关闭IPv6的方式IPv6被认为是IPv4的替代产品,它用来解决现有IPv4地址空间即将耗尽的问题。但目前,开启IPv6可能会导致一些问题。因此有时我们需要关闭IPv6。下面是IPv6的关闭方法应该适用于所有主流的Linux发行版包括Ubuntu、D

2015-12-17 19:04:45 4529

原创 DataXceiver error processing unknown operation src: /127.0.0.1:36479 dst: /127.0.0.1:50010处理

异常信息如下: 2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.java:run(278)) - hadoop07:50010:DataXceiver error processingunknown operation  src: /127.0.0.1:36479 dst: /127.0.0.1:50010

2015-12-17 18:06:25 8863

转载 构建企业级数据仓库五步法

数据仓库建模与ETL实践技巧Posted on 2008-08-01 10:07 xuzhengzhu 阅读(295) 在上一期的专栏文章中,我们曾经提到:数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端(图一:pic1.bmp)其中,数据仓库(DW)起到了数据大集中的作用。通过数据抽取,把数据从源系统源源不断地抽取出来,可能每天一次,或者每3个小

2015-12-17 08:24:04 1609

转载 数据仓库建设步骤

数据仓库建设步骤Posted on 2015-03-04 10:18 xuzhengzhu 阅读(1164) 评论(0) 编辑 收藏1.系统分析,确定主题确定一下几个因素:    ·操作出现的频率,即业务部门每隔多长时间做一次查询分析。    ·在系统中需要保存多久的数据,是一年、两年还是五年、十年。    ·用户查询数据的主要方式,如在时间维度上是按照自然年,还是

2015-12-17 08:21:22 1225

转载 数据仓库建模:定义事实表的粒度

数据仓库建模:定义事实表的粒度Posted on 2015-08-25 09:03 xuzhengzhu 阅读(28) 评论(0) 编辑 收藏维度建模中一个非常重要的步骤是定义事实表的粒度。定义了事实表的粒度,则事实表能表达数据的详细程度就确定了。定义粒度的例子如下:1.客户的零售单据上的每个条目。2.保险单上的每个交易。定义好事实表的粒度有很大的用处。第一个用处就

2015-12-17 08:19:38 3272

转载 BI在连锁零售业应用

BI案例:BI在连锁零售业应用(ZT)Posted on 2015-08-25 09:31 xuzhengzhu 阅读(42) 评论(0) 编辑 收藏第一部分:连锁零售企业上BI的必要性.  目前国内的连锁零售行业的发展趋势,呈现出产业规模化,经营业态多样化,管理精细化的特点。所谓管理精细化就是"精耕细作搞管理,领先一步订系统"。如今的商业企业在日常的经营过程中,产生了大量的信

2015-12-17 08:09:07 1942

原创 分布式数据仓库设计

做大做强事实表,做小做弱维表;分布式模式-维度建模新原则  (1)以值代键:针对键值唯一的维表,除非必要,否则不引入维表,如IP地址维表,采用IP作为维表的主键,事实表中存储IP值;      (2)合理分表:传统关系型数据仓库存在多表整合的冲动,如上图Event事实表,各种Acount Ind,Finance Ind等,用来扩展表的通用性,试图把所有的数据都存储到一张表 中。

2015-12-15 08:11:51 1111

转载 多维数据模型

一、概述  多维数据模型是最流行的数据仓库的数据模型,多维数据模型最典型的数据模式包括星型模式、雪花模式和事实星座模式,本文以实例方式展示三者的模式和区别。二、星型模式(star schema)  星型模式的核心是一个大的中心表(事实表),一组小的附属表(维表)。星型模式示例如下所示:

2015-12-15 08:10:29 1524

原创 Kafka消息delivery可靠性保证(Message Delivery Semantics)

原文见:http://kafka.apache.org/documentation.html#semantics有这么几种可能的delivery guarantee:At most once 消息可能会丢,但绝不会重复传输At least one 消息绝不会丢,但可能会重复传输Exactly once 每条消息肯定会被传输一次且仅传输一次,很多时候这是用户所想要的。

2015-12-15 07:51:45 2727

转载 深度分析Java的ClassLoader机制(源码级别)

深度分析Java的ClassLoader机制(源码级别)2015-04-18 分类:Java 阅读(972) 评论(0) 写在前面:Java中的所有类,必须被装载到jvm中才能运行,这个装载工作是由jvm中的类装载器完成的,类装载器所做的工作实质是把类文件从硬盘读取到内存中,JVM在加载类的时候,都是通过ClassLoader的loadClass()方法来加载class的,

2015-12-13 15:41:16 776

原创 忘记mysq rootl密码后解决办法

如果mysql正在运行,kill掉: killall -TERM mysqld启动mysql(无需输入密码):bin/safe_mysqld –skip-grant-tables &然后>use mysql>update user set password=password(”new_pass”) where user=”root”;>flush privileges;

2015-12-06 17:54:59 2312

原创 ambari server内存溢出

java.lang.OutOfMemoryError: PermGen spaceat java.lang.ClassLoader.defineClass1(Native Method)at java.lang.ClassLoader.defineClass(ClassLoader.java:800)at java.security.SecureClassLoader.defineCl

2015-12-02 15:39:51 3195

正则表达式验证工具.exe

正则表达式验证工具 验证正则正确与否的利器 验证java、javascript等等,非常棒的软件,推荐下

2013-03-28

GIAC架构大会-承载每天万级任务的调度系统架构是如何设计的.pdf

承载每天万级任务的调度系统架构是如何设计的 分布式任务调度系统如何设计? 开源分布式任务调度系统介绍

2019-07-07

ippicv_linux_20151201.tgz

Ubuntu16.04安装OpenCV3.2.0过程中,在cmake下载过程中可能会出现 ICV:DOWNLONDING ippicv_linux_20151201.tgz 但是一直下载不下来,自己可以手动下载,把压缩包放到opencv3.2.0->ippic->Download下

2018-04-07

代立冬的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也
提示
确定要删除当前文章?
取消 删除