统计分析
架构师成长营
这个作者很懒,什么都没留下…
展开
-
Scapy 从入门到放弃
0x00 前言最近闲的没事,抽空了解下地表最强的嗅探和收发包的工具:scapy。scapy是一个python模块,使用简单,并且能灵活地构造各种数据包,是进行网络安全审计的好帮手。0x01 安装因为2020年python官方便不再支持python2,所以使用python3安装。0x02 构造数据包在构造数据包之前首先导入scapy模块: from scapy.all im...转载 2020-04-20 12:00:54 · 3433 阅读 · 2 评论 -
数据分析的三大框架:底层技术、分析建模、工具选择
在搭建知识大厦之前,先需要建立知识的框架,然后才能高效的填充知识。所以本文主要跟大家分享如何建立框架。先看下数据科学的世界观,参考下面的思维导图:有了世界观,我们可以开始搭建自己的知识大厦了。在搭建知识大厦之前,先需要建立知识的框架,然后才能高效的填充知识。所以今天我们先建立框架。数据分析的三大框架数据科学的框架分为三部分:底层技术框架/数据分析框架/工具选择框架,接下...转载 2019-04-14 20:28:35 · 1246 阅读 · 0 评论 -
你的数据分析框架搭建起来了吗
数据分析作为运营人员必备的核心技能,对职业发展起着尤为重要的作用。本文将基于基于业务场景,分享几种基础的数据分析框架和方法,系统化的进行数据分析。无论是产品、还是运营,都需要具备良好的数据分析能力,对用户行为数据和业务数据,进行分析、评估甚至预测。本文通过分享三种常见的数据分析框架,帮助我们更系统的进行数据分析,发现并解决产品暴露出的问题,从而更高效的完成工作。...转载 2019-04-14 20:35:45 · 357 阅读 · 0 评论 -
网站数据分析
数据立方体与OLAP24 条回复 前面的一篇文章——数据仓库的多维数据模型中已经简单介绍过多维模型的定义和结构,以及事实表(Fact Table)和维表(Dimension Table)的概念。多维数据模型作为一种新的逻辑模型赋予了数据新的组织和存储形式,而真正体现其在分析上的优势还需要基于模型的有效的操作和处理,也就是OLAP(On-line Analytical Processi...转载 2019-04-28 22:06:12 · 441 阅读 · 0 评论 -
Kylin工作原理、体系架构
核心思想:预计算。 对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,并存在HBase中,供查询时直接访问 将高复杂度的聚合运算、多表连接……操作转换成对预计算结果的查询。决定了Kylin拥有很好的快速查询、高并发能力 理论基础:空间换时间Cuboid:Kylin中将维度任意组合成为一个CuboidCube:Kylin中将所有维度组合成为一个Cube...转载 2019-04-29 18:54:21 · 419 阅读 · 0 评论 -
Apache Kylin 入门 2 - 原理与架构
Apache Kylin 入门系列目录Apache Kylin 入门 1 - 基本概念 Apache Kylin 入门 2 - 原理与架构 Apache Kylin 入门 3 - 安装配置参数详解 Apache Kylin 入门 4 - 构建 Model Apache Kylin 入门 5 - 构建 Cube工作原理简单来说,Kylin 的核心思想是预计算(利用空间换时间),即对...转载 2019-04-29 19:06:53 · 163 阅读 · 0 评论 -
16种常用统计分析软件介绍
1SAS统计软件 SAS 是英文Statistical Analysis System的缩写,翻译成汉语是统计分析系统,最初由美国北卡罗来纳州立大学两名研究生开始研制,1976 年创立SAS公司, 2003年全球员工总数近万人,统计软件采用按年租用制,年租金收入近12亿美元。SAS系统具有十分完备的数据访问、数据管理、数据分析功能。 在国际上, SAS被誉为数据统计分析的标准软件。SAS系统是...转载 2019-05-13 18:41:19 · 42847 阅读 · 0 评论 -
2018年ETL工具比较
提取,转换和加载(ETL)工具使组织能够在不同的数据系统中访问,有意义且可用的数据。通常情况下,企业在了解试图编写代码和构建内部解决方案的成本和复杂性时,首先会意识到对ETL工具的需求。当选择正确的ETL工具时,您有几种选择。您可以尝试组装开源ETL工具来提供解决方案。这种方法适用于某些情况,但公司经常发现自己需要更多功能/功能,更多灵活性和更多支持。下一个选择是与现任供应商合作:一种能够...转载 2019-05-22 14:06:58 · 316 阅读 · 0 评论