qq_39436781的博客

包括维度编码，字段类型，创建人，创建时间，状态等)、业务过程、指标(包含指标名称,指标编码，业务口径，指标类型，责任人，创建时间，状态，sql等)，安全等级，计算逻辑等的规范化定义，用于更好地管理和使用数据。淘宝交易订单的流转主要包括 下单，支付，发货，完成这四个业务过程，在事务统计中，只关注了下单、支付、完成这三个业务过程，而在统计事件时间间隔的需求中，卖家发货也是关键环节。星座模型：这也是星型模型的衍生而来的，不同的是 基于多张事实表，并且共享维度信息，也就是维度表之间可能会连在一起。

在进行flume订阅kafka产生的错误：org.apache.flume.conf.ConfigurationException 解决办法：我安装的flume是1.5，但是配置文件写法参考的是1.7，flume版本不同，配置文件的写法也不同，所以运行报错，改成1.5的配置写法就可以了(目前没找到1.5中对于kafka.topic.regex这种主题名称正则匹配的方式，只好先采用多sour...

1. 使用mvn命令导包报错：No plugin found for prefix 'help' in the current project and in the plugin问题：为了到处一个项目的所有第三方依赖包到lib目录下，具体操作如下，结果报了标题上的错误cmd>cd ${pom.xml}cmd>mvn -DoutputDirectory=./lib ...

按变量的生存周期来划分，Linux变量可分为两类： 1.永久的：需要修改配置文件，变量永久生效。 2.临时的：使用export命令声明即可，变量在关闭shell时失效。永久的--------------------------------------------------- 在/etc/profile文件中添加变量【对所有用户生效（永久的）】...

1.多模块依赖项目打包失败问题描述：项目root,有module common,front,mall等其中front 和mall都依赖于common，将来需要上线部署的也是front和mall项目,所以两个项目是要进行打包，当使用Maven对front项目直接进行package时，提示依赖于common的jar包找不到。解决方案：因为直接对front打包，common并没有被打包，依赖关系...

一，Hadoop全局排序(TotalOrderPartitioner)错误问题描述：现在有个sequenceFile文件里面记录着年份和温度，key是年份value是温度，找出每年的最高气温然后按照年份递增排序。job本地执行报错：Error: java.lang.IllegalArgumentException: Can't read partitions file at or...

前言分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客，然而他们的实现却有着各种各样的问题，为了避免误人子弟，本篇博客将详细介绍如何正确地实现Redis分布式锁。可靠性首先，为了确保分布式锁可用，我们至少要确保锁的...

需求：把node01、node02 机器中的access.log、nginx.log、web.log 汇总到node03机器上然后统一收集到hdfs中。但是在hdfs中要求的目录为：/source/access/20160101/**/source/nginx/20160101/**/source/web/20160101/**第一步：配置node01和node...

1. 使用root用户: su root 2. 安装yum install mysqlyum install mysql-serveryum install mysql-devel（可选） 3. 修改配置信息，添加: vim /etc/my.cnf [mysql] default-character-set=utf8 ...

使用该语句创建用户mysql>CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';用命令行登陆一直报错，但是navicat客户端却可以正常登陆mysql -u hive -pEnter password: *******ERROR 1045 (28000): Access denied for user 'hive'@'local...

1.The origin server did not find a current representation for the target resource or is not willing to disclose that one exists.导入外部项目资源文件目录为“web”不是“webcontent”,导致项目页面无法问问解决方法：找到项目的改配置文件，打开.setting ...

一、Centos修改静态ip---------------------------------------------------------------------------------1.切换root用户$>su root2.编辑/etc/sysconfig/network-scripts/ifcfg-eth0a.备份文件...

Hive中有三种UDF:1、用户定义函数(user-defined function)UDF；2、用户定义聚集函数（user-defined aggregate function，UDAF）；3、用户定义表生成函数（user-defined table-generating function，UDTF）。UDF操作作用于单个数据行，并且产生一个数据行作为输出...

1. 一个最基本的例子使用Logging框架写Log基本上就三个步骤引入loggerg类和logger工厂类 声明logger 记录日志下面看一个例子//1. 引入slf4j接口的Logger和LoggerFactoryimport org.slf4j.Logger;import org.slf4j.LoggerFactory;public class UserServ...

一、Linux目录结构你想知道为什么某些程序位于/bin下，或者/sbin，或者/usr/bin，或/usr/sbin目录下吗？例如，less命令位于/usr/bin目录下。为什么没在/bin中，或/sbin，或/usr/sbin目录中？所有这些目录之间有什么不同？在这篇文章中，让我们回顾一下Linux的文件系统结构，并理解各上层目录的含义。蓝色：表示目录青色：表示链接黑色：表...