Tableau实现累加多少天求和rolling_sum()

描述: 比如求过去5天的累加和,在Excel里面很简单,公式一拖就可以了 那么tableau该如何实现呢? 这里用到了tableau的WINDOW_SUM函数 首先创建计算字段 然后拖过去,直接就实现了,是不是很简单 ...

2019-06-14 17:32:37

阅读数 5

评论数 0

Tableau计算某个度量占总度量百分比

描述: 第一列是销售额,第二列是销售额占比 效果: 方法一: 使用total函数: 创建一个计算字段:sum([sale])/TOTAL(sum([sale])),然后把这个字段拖过去就可以了。 方法二: 复制一下字段出来 拖过去,然后右键-快速表计算-总额百分比 ...

2019-06-14 15:04:17

阅读数 6

评论数 0

禁用SQL Server的SSRS日志追踪

今天某台服务器C盘空间剩余0Kb,整个服务器都瘫痪了,利用WizTree软件分析文件 定位是SQL Server的Reporting Service每分钟产生一个日志文件,已经产生好几年了,居然有几百万条记录,删除都用了好几个小时才搞定的。 日志的文件夹在: C:\Program Fil...

2019-06-06 10:40:27

阅读数 29

评论数 0

记一次数据库的数据分析完整过程

一、目的 1.查看ETL任务每个步骤的执行是否稳定 2.查看是否有优化空间 二、数据处理 1.数据采集 这是我们在进行ETL任务的过程中,每个步骤开始和结束写入的一张追踪表,用来记录任务到每个步骤的执行时间。 2.数据预处理 首先记录两个task的时间差,直接两个时间相减就可以了...

2019-05-14 14:19:59

阅读数 26

评论数 0

基于深度学习LSTM算法生成音乐

整套架构图 一、背景知识 1.概念 (来自百度百科): notes(音符):用来记录不同长短的音的进行符号。全音符、二分音符、四分音符、八分音符、十六分音符是最常见的音符。是五线谱中最重要的元素 chord(和弦):和弦是乐理上的一个概念,指的是一定音程关系的一组声音。将三个...

2019-04-15 14:10:18

阅读数 682

评论数 0

Linux上安装TensorFlow和简单使用

一、环境 python3.5 Linux Red Hat 4.8.5 参考官网 二、安装 1.输入命令 yum install python3-dev python3-pip python-virtualenv 2.创建虚拟环境 virtualenv --system-site...

2019-04-12 18:37:12

阅读数 34

评论数 0

Hive使用python编写的自定义函数UDF进行ETL

Hadoop使用Streaming技术来替代Java编程,允许用户使用其他语言实现业务逻辑处理Streaming采用UNIX标准输入输出机制(stdin/stdout)作为应用程序和Hadoop计算框架之间的数据接口标准只要符合标准I/O接口,开发人员便可以选择任意语言编写 Map/Reduce模...

2019-04-11 10:44:20

阅读数 96

评论数 0

利用Spark构建分布式电影协同过滤推荐系统

一、数据采集 使用MovieLen的开放数据集作为数据源,包含了6000个用户对4000个电影的评分数据,大概有100万条评分数据。数据集也可以从这个网址下载。数据集一共有3个文件: movie.date(电影ID::电影名称::标签) 1::Toy Story (1995)::Anima...

2019-04-09 10:16:35

阅读数 71

评论数 0

实时大数据平台搭建Flume+Kafka+HDFS+SparkStreaming

整体架构图 一、python模拟生成日志 import random import time iplist=[101,198,65,177,98,21,34,61,19,11,112,114] urllist=['baidu.com','google.com','sougou.com',...

2019-04-06 13:34:10

阅读数 132

评论数 6

数据分析之利用ARMA算法对销售进行预测

一、目标 销售数据是随着时间变化的序列,通过对未来的销售进行预测,方便对人员、物料等各种资源投入的把控,控制好库存,减少浪费,也可以制定未来的营运策略,提高管理效率。 这里使用ARMA(AutoRegressive Moving Average)算法,不仅与前P期的序列值有关,也与前q...

2019-03-31 16:15:48

阅读数 334

评论数 0

数据分析之利用Apriori关联算法看看客户最喜欢买什么

一、背景和目标 源于沃尔玛的啤酒和尿布的经典营销案例,把这两个看似并无太大关系的商品联系到一起了。这里就用到了关联算法。我们今天就用关联算法对某餐饮连锁企业的商品进行关联分析,观察用户的消费习惯。 环境:python3.5+pycharm 算法:Apriori 二、数据采集和处理 原始数...

2019-03-30 20:12:47

阅读数 22

评论数 0

跨数据库数据传输:利用ODBC从MySQL传输数据到SQL server

要做数据库迁移和增量备份,把MySQL数据每天移动到SQL server中 1.设置ODBC工具 首先电脑要先安装好 MySQL的ODBC connector,百度一下就可以了。安装完成之后,在控制面板的ODBC数据源管理里面就可以看到了。 填好相关的连接信息。记住这个datasourc...

2019-03-23 11:34:57

阅读数 33

评论数 0

SQL Server去除字段中的双引号和多层引号嵌套处理

一、去除双引号 通过MySQL导出的数据,居然有双引号,没办法插入到SQL server 大概是这样的: 有两种方法解决: 1.从源头避免 导出选项的时候,文本限定符选择 无 就可以了 2.通过replace函数进行清洗: 用法如下 SELECT top 10 replac...

2019-03-22 20:31:39

阅读数 120

评论数 0

数据分析之利用深度学习和机器学习对餐饮客户进行分类

一、目标 在上一篇博客中,利用RFM模型,使用Kmeans算法,把客户分成了三类,并打好标签,生成了带标签的训练数据。接下来利用这些打好标签的分类数据,使用深度学习和机器学习方法对未打标签的客户进行分类。 环境: python3.5 机器学习:随机森林 深度学习:基于TensorF...

2019-03-17 19:25:36

阅读数 77

评论数 0

数据分析之利用RFM模型对餐饮客户进行分析

一、背景和目标 随着大数据时代的到来,很多公司都建立了数据仓库,对分散在各处的数据进行收集,这只是解决了数据应用中的数据孤岛问题,但是不知道如何对数据进行使用。博主打算利用经典的RFM模型来挖掘数据,对某连锁餐饮行业客户进行分类,分成高价值客户、一般价值客户和普通价值客户,方便针对不同客户制定不...

2019-03-17 16:10:10

阅读数 164

评论数 0

BI自动化之Python自动查询数据库生成Excel并每天定时邮件发送

一、目的 1.每天自动查询SQL数据 2.生成Excel并作为附件邮件发送 3.每天定时自动执行 二、开发环境 1.Python3.5 2.SQL server2014 三、代码 一两个小时弄的,代码可能有点乱,凑合着看吧 import pymssql import pand...

2019-02-24 17:44:28

阅读数 668

评论数 1

Python使PooledDB连接池连接SQL Server2014

使用连接池有诸多好处: 1.可以减少关闭连接的次数,提示连接的速度 2.进程内线程共享 连接参数定义: 1. mincached,最少的空闲连接数,如果空闲连接数小于这个数,pool会创建一个新的连接 2. maxcached,最大的空闲连接数,如果空闲连接数大于这个数,pool会关闭空...

2019-02-23 19:26:57

阅读数 403

评论数 0

Lambda架构:Python+Flume+Kafka+Hbase+SparkStreaming架构搭建

一、模拟网站实时产生数据 1.利用python模拟产生日志 这里的日志选用慕课网日志,原始的日志文件是这样的: 需要进行处理,这里选用python脚本处理和模拟生成日志,代码如下: import time def timeformate(s): s=s.split('/')...

2019-01-06 15:31:36

阅读数 168

评论数 0

Kafka启动后很快自动关闭进程

今天kafka启动之后,刚开始输入jps还有进程,大概几秒钟不一会儿就关闭了,我这边是-daemon守护进程的方式启动的,到kafka下面的logs文件夹查看server.log日志发现了报错 [2019-01-05 11:02:00,473] INFO Unable to read addi...

2019-01-05 19:16:36

阅读数 1186

评论数 0

Flume远程实时采集Windows产生的log4j产生的数据

一、配置log4j.properties 在IDEA的resource下面新建log4j.properties 配置如下:主要定义了控制台和flume里面的日志格式,flumeAppender配置参考Flume官网 log4j.rootLogger=INFO,stdout,flume ...

2018-12-29 11:50:10

阅读数 202

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭