m0_66857498的博客

原创 总结hdfs核心原理

1.架构2.读流程3.上传流程4.namenode与datanode通信

原创 总结111

原创 用户画像开发

1、用户画像分类 (这里基于技术开发视角)基于统计类的标签 ：基本属性标签 、活跃度标签、消费订单标签等基于规则类的标签 ：用户粘性级别、用户活跃度等级、用户价值等级等基于挖掘类的标签 ：用户流失风险、用户职业属性、用户性格等2、基于统计标签用户活跃标签开发示例-- 用户活跃区间表hive> desc mall_app_uac_range;OKguid bigintfirst_login_dt stringrang

原创 atlas和dolphinscheduler 安装

atlas元数据管理系统功能 技术元数据的自动摄取 靠在大数据组件上配置钩子hook 自动摄取到的元数据都是技术元数据 血缘回溯 血缘含义 就是一个数据实体（hive表、字段）它的来源及它的后代 血缘关系的获取 钩子获取insert语句后解析得到血缘关系 atlas能追踪到表级别的血缘，...

原创 维度建模1

1.维度建模主要用于数仓建模,数据分析2.我们一般根据所需要做的主题分析里面的度量,树立一张中心事实表,然后根据计算所需要的维度,构建各种维度表,然后进行关联形成一张宽表,最后对这张宽表进行报表统计3.维度建模模型: 雪花模型 星型模型 星座模型星型模型:只有一张事实表 和各种不同的维度表,事实表和维度表只会有一层关联关系,这些维度表都是反范式的扁平化维表雪花模型: 只有一张事实表 和各种不同的维度表 ,事实表和维度表关联一般都会关联多层,才会得到最后所需要的维度,这些维度表一般都是符合三范

原创 业务域数据导入数仓

业务域数据导入到数仓sqoop增量数据导入bin/sqoop import \--connect jdbc:mysql://linux01:3306/myword \--username root \--password root \--target-dir /sqoopdata/t_md_areas \ --中间存储在hdfs 的目录--hive-import \ --hive-database mydata \ --存入hive的数据库--hive-tabl...