![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
姹紫_嫣红
生活也好,工作也好,本来就是消磨人的事儿,要在被消磨之间反身抗衡是需要勇气的。
博客园:http://www.cnblogs.com/xleer/
展开
-
数据治理
全球数据战略公司董事总经理Donna Burbank说:人工智能只有建立在优质的数据基础上才能成功,从而推动了数据治理的发展。Thomas C.Redman博士说:估计80%的人工智能(AI)和机器学习(ML)会因为数据质量而继续失败。业务的所有领域都需要对数据进行认责,建立数据管理角色对于确保从战略到战术在组织的各个级别上至关重要。伯班克指出,数据治理应以业务为主导,并提供IT支持。接下来是什么:在2020年,能够具有数据治理能力的企业将与业内其他组织建立起跨组织的数据治理和数据共享协原创 2020-07-22 09:27:59 · 386 阅读 · 0 评论 -
kylin构建cube时step1报错MoveTask
今天在CDH上执行hive sql的时候报了一个错。错误内容为: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask错误语句: INSERT OVERWRITE DIRECTORY '{$dir}' select * from tmp_analyse_os where l...转载 2017-09-18 09:38:57 · 657 阅读 · 0 评论 -
Tableau连接kylin
对kylin进行分析操作的方法:1.Kylin ODBC引擎操作2.Kylin JDBC引擎操作Tableau连接kylin进行数据分析:1.选择tableau中数据源页面的other ODBC选项,选择kylinODBCDriver驱动;填写连接需要的信息:http\IP\port\username\password,点击connect,然后选择kylin中的工程;连接好后打开tableau的页...原创 2017-09-08 15:56:13 · 4434 阅读 · 2 评论 -
kylin cube优化
一、最基本的cube构建信息:1.一个度量,并且计算包括:max、min and Count;2.模型中的所有维度都被使用;3.hive输入是一个CSV类型的外部表;4.输出是没有经过压缩的HBase表。二、kylin cube的优化方法:1.减少组合; 通过构建cube时对维度在joint and Hierarchy参数上的配置减少cuboid的组合数量。 join...原创 2017-09-08 10:34:04 · 672 阅读 · 0 评论 -
kylin2.0之spark构建cube
在kylin2.0中引入了构建cube的spark引擎,因此在构建cube的时候用spark代替MR。kylin2.0+spark1.6kylin2.1+spark2.1.1 kylin2.0.0+HBase1.XHadoop等的底层依赖:hdp2.4,hive,hbase,yarn1.修改Hadoop配置在kylin.properties中配置好Hadoop的配置路径(注意要新建一...原创 2017-09-07 11:29:22 · 4426 阅读 · 5 评论 -
关于Kylin中cube的构建
导读:在前面的新建model和cube中,只是完成了模型和cube的定义,要完成OLAP对数据的预计算还要对cube进行构建;1.cube构建流程在Models页面中,点击action中的build对cube进行构建;对于增量构建的cube会弹出一个页面,在里面选在end date(start date已经在创建cube的refresh setting中设置),然后提交。(提交之后底层会运行MR进...原创 2017-09-06 18:03:30 · 686 阅读 · 0 评论 -
kylin创建cube时的步骤及一些notes
1.创建工程2.同步hive表定义(四种)3.创建Data Modeljoin多表,定义了星型模型;join操作包括:left join和inner join;创建的model可以被多个cube使用;-->demensions可以来自事实表和维表;Meassues必须来自事实表;-->settings可以设置构建cube时的分割列(必须为DATE类型或者TIMESTAMP)4.创建Cu...原创 2017-09-06 11:28:04 · 1699 阅读 · 0 评论 -
kylin的doc学习
kylin DOC学习1.集群部署kylin实例运行状态被保存在Hbase中的Metadata store中并由kylin.properties的kylin.metadata.url配置,集群部署时运行多个kylin实例共享metadata store;每个kylin实例在kylin.properties配置一个运行时模式,三种选项:1.运行job的job engine;2.运行query的job...原创 2017-09-05 20:54:46 · 785 阅读 · 0 评论 -
OLTP与OLAP
当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果.OLTP:也称为...原创 2017-07-30 11:03:46 · 264 阅读 · 0 评论 -
数据分析之sql UNION与UNION ALL
UNION操作符用于合并两个或多个select语句的结果集。注意:UNION内部的SELECT语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时,每条SELECT语句中的列的顺序必须相同。SQL UNION语法select column_name(s) from table_name1UNIONselect column_name(s) from table_name2注:默认的,UNIO...转载 2018-05-22 20:27:35 · 343 阅读 · 0 评论 -
SQL优化查询
1.查看表的结构 desc tablename;查看表中空值 select * from tablename where col is NULL;满足多个条件的查询,加条件 or在where子句中引用取别名的列时需要在外层嵌套一层select查询语句;拼接列用|| col1 || col1条件逻辑:CASE WHEN用法:CASE WHEN express1 THEN result1W...原创 2018-06-05 14:14:36 · 296 阅读 · 0 评论 -
CRISP-DM分析方法和思路
目录CRISP-DM原理及原理图1.理解业务需求2.数据理解 【理解业务,探索业务需求中的指标概念和影响因素】3.数据准备【业务数据与分析数据格式不同,需要做转换】4 模块化 【选择分析技术对数据分析计划进行模块化】5 评估【从业务角度评估结果】6 部署【实现数据分析应用到业务中】日常项目中的数据为来自于业务功能产生的基础数据不适合直接用于数据分析。这些基础数据...原创 2018-08-28 01:13:58 · 5844 阅读 · 0 评论 -
kylin中的cube构建详解
前言 在使用Kylin的时候,最重要的一步就是创建cube的模型定义,即指定度量和维度以及一些附加信息,然后对cube进行build,当然我们也可以根据原始表中的某一个string字段(这个字段的格式必须是日期格式,表示日期的含义)设定分区字段,这样一个cube就可以进行多次build,每一次的build会生成一个segment,每一个segment对应着一个时间区间的cube,这些segmen...转载 2017-09-19 13:34:07 · 4430 阅读 · 0 评论 -
Apache kylin内部解剖
Apache kylin内部解剖彭小漪1 年前一、Apache kylin的核心概念表(Table ):表定义在hive中,是数据立方体(Data cube)的数据源,在build cube 之前,必须同步在 kylin中。模型(model):模型描述了一个星型模式的数据结构,它定义了一个事实表(Fact Table:Wiki:Fact_table)和多个查找表(Lookup Table:Wiki...转载 2017-09-19 14:06:52 · 738 阅读 · 0 评论 -
数据分析
所谓数据分析即通过适当的统计分析方法对收集来的大量数据进行分析,加以汇总、理解并消化,以求最大化的开发数据的功能,发挥数据的作用。目的在于把隐藏的一大批看似杂乱无章的数据背后的信息集中和提炼出来,总结出研究对象的内在规律;数据分析的分类:1.描述性;2.探索性;3.验证性初级的数据分析包括:对比分析法、分组分析法、交叉分析法;高级的数据分析包括:相关分析法、因子分析法、回归分析法;数据分析师的基本...原创 2017-09-04 21:55:20 · 820 阅读 · 0 评论 -
常用OLAP工具特点总结
开源实现: impala、sparkSQL、Drill Druid(时序) kylin presto(分布式大数据SQL查询引擎) presto(商业) 开源SQL查询引擎,适用于交互式分析查询,数据量为GB到PB字节。 支持在线数据查询,数据源包括:hive,cassandra,关系型数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并,可以跨越整个组织进行原创 2017-12-02 21:33:55 · 7482 阅读 · 0 评论 -
Spark shell
1.spark-shell是Spark的命令行界面,使用Spark-shell进入scala命令行;spark的基础数据类型是RDD,即Resillient Distributed Dataset弹性分布式数据集,假设分布式系统下有很多的文件,这些文件有很多的行,RDD指的就是所有这些文件所有行的集合,而不是单独的某一行,所以我们对RDD进行的一系列操作都是对整个集合进行的操作,并且Spark是将...转载 2018-02-06 13:34:16 · 889 阅读 · 0 评论 -
Apache kylin Restful API
Apache Kylin的主要API:1.用户认证 post /kylin/api/user/authenticationcurl -c /path/to/cookiefile.txt -X POST -H "Authorization: Basic XXXXXXXXX" -H 'Content-Type: application/json' http://<host>:<po...原创 2018-01-23 21:50:15 · 2371 阅读 · 0 评论 -
apache kylin 数据导入hive
编写导入数据的sql脚本:建表1.drop database if exists sample;2.create database sample;3.drop table if exists sample.kylin_cal_dt;4.create table sample.kylin_cal_dt( cal_dt date comment 'data,pk',age_for_year sm...原创 2018-01-23 20:13:03 · 1308 阅读 · 0 评论 -
kylin介绍博文整理
传承互联网精神,好的资源需要共享!最近在网上看到很多博文写的很好的大牛,在此吧他们的一些文章总结在这里,融合自己的思路形成系统,以便日后查看。废话不多说,上连接1.Apache Kylin介绍篇https://zhuanlan.zhihu.com/p/220820462.Apache Kylin基础运维https://zhuanlan.zhihu.com/p/222196023.Apache Ky...转载 2017-12-17 16:39:51 · 337 阅读 · 0 评论 -
Tableau地图的使用
设置角色、比较地图、添加字段信息、设置地图选项、创建分布图和自定义地图等;1.构建地图的第一步:指定包含位置数据的字段;然后Tableau就会自动将地理角色分配给具有公用位置名称的字段;为含有地理数据的字段右键分配地理角色,之后tableau自动将地理信息名称与经纬度进行关联,并在数据“度量”下生成“维度”和“经度”;2.标记地图首先将纬度和经度拖分别放到行和列功能区,将地理区域字段(省市等的名称...原创 2017-10-17 14:34:34 · 12517 阅读 · 0 评论 -
数据可视化神器Tableau学习小结3——函数及应用
函数类型数学函数、字符串函数、日期函数、类型函数、逻辑函数、聚合函数、直通函数、用户函数、表计算函数等。数字函数:abs(-7)=7\ceiling(3.1215)=4返回比数字更大的最近整数\degrees(PI()/4)=45.0 弧度转度数\div(11,2)=5返回商\exp(2)=7.389返回数字的e次幂\floor(3.1215)=3类似于ceiling但是取更小值\高级应用相关的应...原创 2017-10-11 23:32:40 · 2884 阅读 · 0 评论 -
数据可视化神器Tableau学习小结2
创建图表条形图要素:组数、组宽度和组限;分为垂直条形图和水平条形图;一般维度在行功能上,度量在列功能上;2.饼状图3.直方图一种统计报告图,一般横轴(列)表示数据类型(维度),纵轴(行)表示分布情况(度量);4.折线图显示数据的变化趋势,可以显示随时间而变化的连续数据;适合显示相等时间间隔的数据趋势;类别在列(横),数值在行(纵);5.散点图表示因变量随自变量变化的大致趋势,据此可以选择合适的函数...原创 2017-10-11 22:53:28 · 1978 阅读 · 0 评论 -
数据可视化神器Tableau学习小结
1.工作表中创建到筛选器的视图分别将左侧想要展示的度量和维度字段拖拽到列或行功能区;针对想要进行过滤的字段右击选择显示筛选器,此时该字段将出现在左侧筛选器选项卡中,在筛选器选项卡中对该字段右击设置筛选功能(eg:显示区域或显示前10(递增或递减)),;当存在多个筛选字段时可以对其中的字段设置添加到上下文使其优于其他筛选器;2.导出图形中的数据在图形界面上右击选择复制(交叉表、数据或图像)或者点击工...原创 2017-10-11 21:52:34 · 4229 阅读 · 0 评论 -
kylin使用的一些记录
1.在查看kylin的运行日志时会看到如下信息:其中INFO部分,[pool-9-thread-1]//说明当前kylin上一共创建了10个model,其中资源池中存放着9个,1个在运行。原创 2017-09-20 13:14:16 · 998 阅读 · 0 评论 -
数据分析
职位:数据分析工程师有数学背景的要求。数据分析师和数据挖掘工程师。知识体系相同;职责不同。前者是偏重岗位管理、运营团队,后者偏重客户应用(技术开发团队)。发现问题,提出策略(宏观)。后者做具体的事(个体的研究)。知识体系:数据库(SQL):从数据库中抓数据。统计学:侧重描述统计、参数估计和统计推断。数据挖掘:数据总结、分类和回归、聚类分析、关联分析。基础为高原创 2016-01-04 21:17:20 · 525 阅读 · 0 评论