大数据综合实战项目
关注
分享
扫一扫
文章平均质量分 93
江湖人称涛哥
这个作者很懒，什么都没留下…
展开
-
基于flink与groovy实现全实时动态规则智能营销与风控系统
本文是对视频课程《基于flink与groovy实现亿用户级实时动态规则智能运营系统》的介绍说明；本项目极具行业实用价值，可为各企业开发人员提供系统设计思路与灵感，而且，它不光可用于智能运营，也可以应用在实时规则推荐，实时广告推送，实时规则封控，实时交通监控等纪委广泛的场景中；当然，各类培训机构学员也可以通过学习此项目来丰富自己的就业简历，绝对杀手锏级别！在面试中运用得当，可以起到一锤定音立竿见影的绝杀效果！原创 2022-09-20 15:04:21 · 5627 阅读 · 2 评论 -
大型综合大数据实战项目课程分享——涛哥出品（重磅OFFER杀手）
《Titan大型综合数据运营系统》这套课程，乃涛哥呕心沥血之作，分享给有缘人！299的课程，价值实在远超价格的10倍以上，得之者，幸！B站上有老的公开版；不过B站老版本的架构、设计、各需求具体实现方案等，相比本新版本来说，有诸多不成熟之处，有许多未填之坑；学习此版本，将为你的大数据面试求职之路铺就康庄大道，在项目经验论述这块，你将游刃有余！课程内容涵盖互联网行业用户行为分析数据仓库建设OLAP分析平台用户画像机器学习算法数据挖掘精准广告投放等诸多企业重点数据开发内容，各模块同原创 2020-12-09 23:13:35 · 1289 阅读 · 0 评论 -
DOIT多易教育简介
目录多易教育简介概述教学团队混元教学模式混元教学模式概述混元教学模式举例说明第1阶段：快速建立宏观整体的理解第2阶段：详细阐述知识点第3阶段：复杂编程场景的反复锤炼多易教育简介概述多易教育是一家专注于大数据平台和企业级后台系统开发的小而美的IT技术培训机构，以帮助更多人走向美好职业人生为使命。教学团队多易教育的教学团队成员主要有3类人业内知名度较高的名师拥有多年开发经验，同时又有...原创 2018-11-18 11:09:39 · 5206 阅读 · 0 评论 -
29_多易教育之《yiee数据运营系统》附录：扩展知识点汇总系列二
目录一、OLAP多维分析概念及函数 1、cube导论 2、cube核心操作 1)、cube核心操作 &nb...原创 2020-02-18 00:21:36 · 6114 阅读 · 0 评论 -
apache atlas 2.0 详细安装手册
1.1 atlas编译打包l 首先，在官网下载源码包http://atlas.apache.org/l 上传到linux，解压[root@h2 ~]# tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/l [可选]步骤：为maven配置添加国内下载镜像vi $M2_HOME/conf/settings.xml<m...原创 2020-02-12 19:09:02 · 15380 阅读 · 4 评论 -
28_多易教育之《yiee数据运营系统》附录：扩展知识点汇总系列一
目录一、日志工具log4j二、高德地图服务 1、导论 2、高德地图服务申请 3、高德地图服务API三、HanLP中文分词四、hive多重插入语法五、hive动态分区一、日志工具log4jlog4j是一个java系统中...原创 2020-02-11 15:58:29 · 5700 阅读 · 0 评论 -
27_多易教育之《yiee数据运营系统》数据治理-atlas部署使用篇
目录一、atlas编译打包二、atlas安装配置 1、编译环境 2、编译步骤 3、安装步骤 4、hive-hook钩子配置 &nb...原创 2020-02-11 15:36:13 · 6056 阅读 · 2 评论 -
26_多易教育之《yiee数据运营系统》数据治理-atlas介绍篇
目录一、前言二、概要介绍三、核心组件 1、Core 2、Integration 3、Metadata source 4、Applications四、核心特性 ...原创 2020-02-11 11:07:06 · 6094 阅读 · 0 评论 -
25_多易教育之《yiee数据运营系统》OLAP平台-画像分析篇
目录一、画像数据查询分析二、用户分群查询分析三、自定义标签查询分析一、画像数据查询分析二、用户分群查询分析三、自定义标签查询分析...原创 2020-02-11 10:22:59 · 5760 阅读 · 1 评论 -
24_多易教育之《yiee数据运营系统》OLAP平台-运营分析篇
目录一、技术框架选型二、web页面框架搭建三、固化报表展现开发–表格形式 1、需求说明 2、前端页面开发 3、后端controller 4、后端service ...原创 2020-02-11 10:16:09 · 6085 阅读 · 2 评论 -
23_多易教育之《yiee数据运营系统》OLAP平台-整体概述篇
目录一、OLAP 平台概述二、OLAP平台需求示例三、Presto集群搭建一、OLAP 平台概述OLAP： 联机在线数据分析系统olap平台是提供给运营人员进行各种联机数据分析的人性化平台按照查询类型划分，OLAP一般分为即席查询和固化查询， 即席查询:通过手写sql完成一些临时的数据分析需求，这类sql形式多变、逻辑复杂，对查...原创 2020-02-10 22:07:08 · 6123 阅读 · 0 评论 -
22_多易教育之《yiee数据运营系统》用户画像-消费行为性别预测篇
目录一、性别预测需求用户注册时，所填写的性别，存在大概率的随意性；不能完全作为用户画像的性别参考；在无法通过直接手段获得用户真实性别的情况下，需要通过用户的各种行为特征，来对用户的性别进行预测；二、算法选择-逻辑回归分类算法可以用朴素贝叶斯做；也可以用逻辑回归算法来做；三、特征工程-选择特征有以下样本特征数据，需要对未知数据进行消费行为性别预测category1： 30天内买得...原创 2020-02-10 17:58:05 · 5959 阅读 · 1 评论 -
21_多易教育之《yiee数据运营系统》用户画像-模型标签流失预测篇兼退拒风险概率预测篇
目录一、流失概率预测需求二、算法选择-朴素贝叶斯分类算法三、特征工程-选择特征四、特征工程-特征数据源五、特征工程-特征值离散化六、特征工程-向量规范化七、机器学习-模型训练八、机器学习-流失率预测一、流失概率预测需求根据用户的活跃度及消费情况，判断用户的流失意向。可及时对有流失趋向的用户做营销召回像这样的概率型结论，通过一个普通的算术运算来得出的话，不会太靠谱！要通过...原创 2020-02-10 17:44:27 · 5983 阅读 · 0 评论 -
20_多易教育之《yiee数据运营系统》用户画像-算法实例篇
目录一、算法实例KNN二、算法实例NaiveBayes 1、算法简介 2、朴素贝叶斯的原理及理解 3、算法计算示例 ...原创 2020-02-10 17:32:02 · 5909 阅读 · 0 评论 -
19_多易教育之《yiee数据运营系统》用户画像-算法导论篇
目录一、机器学习概念二、机器学习算法的分类 1、监督学习 2、无监督学习 3、半监督学习 4、向量入门三、机器学习的常见算法四、基本数学知识 ...原创 2020-02-09 23:31:00 · 6144 阅读 · 1 评论 -
18_多易教育之《yiee数据运营系统》用户画像-事实标签计算篇
目录一、用户属性标签二、用户登录活跃指标三、用户年龄段划分四、用户行为标签五、用户消费能力标签一、用户属性标签用户属性指标根据业务数据来源尽可能全面地描述用户基础属性这些基础属性值是短期内不会有改变的，如年龄、性别、手机号归属地、身份证归属地等字段字段类型字段定义user_idbigint用户编码login_namestring登录名称...原创 2020-02-09 15:01:15 · 5675 阅读 · 0 评论 -
17_多易教育之《yiee数据运营系统》用户画像-技术架构方案篇
技术架构方案篇用户画像，广义上属于“Titan数据运营系统”的一个功能模块因此它的技术架构仍属于Titan数据运营系统的体系；基础计算层，以之前已经搭建好的数仓系统为主；高级计算层，以新开发的spark模型算法程序为主；OLAP层，以之前的Presto+springboot为实时运算平台，以之前的“Titan数据运营分析平台”WEB系统为基础...原创 2020-02-09 14:34:36 · 5986 阅读 · 0 评论 -
16_多易教育之《yiee数据运营系统》用户画像-标签体系设计篇
目录一、产品经理视角二、技术视角-标签种类三、技术视角-标签层次四、技术视角-标签开发策略 1、事实、模型标签 2、决策标签一、产品经理视角很多用户画像初衷是好的，但是沦为了形式主义。；举身边的例子，朋友在公司建立用户画像划分了百来个维度。用户消费、属性、行为无所不包。本...原创 2020-02-09 14:29:15 · 6242 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（15）：用户画像概念介绍篇
目录一、用户画像基本概念二、用户画像的应用一、用户画像基本概念用户画像是大数据领域中一个非常核心的应用，它是和精准营销、精细化运营直接钩挂的。用户画像一点也不神秘，它是根据用户在互联网留下的种种数据，主动或被动地收集，最后加工成一系列的标签。比如猜用户是男是女，哪里人，工资多少，有没有谈恋爱，喜欢什么，准备剁手购物吗?二、用户画像的应用用户画像在企业迈大迈强的过程中有举足轻重的...原创 2020-02-09 14:22:56 · 6225 阅读 · 1 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（14）：任务脚本篇兼任务调度篇
目录一、任务脚本篇 1、Spark任务】调度脚本开发 2、【Sql任务】调度脚本开发 3、【Sqoop任务】调度脚本开发二、任务调度篇 1、【crontab】定时任务执行调...原创 2020-02-09 14:17:35 · 5952 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（13）：业务数据报表篇
目录一、【业务模型】业务表数据模型梳理 1、电商业务库表模型整体架构 2、本项目中所需要用到的业务表 1)、购物车表 ...原创 2020-02-09 14:08:50 · 6841 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（12）：埋点日志报表篇3
目录一、【App分析】app版本升级分析 1、需求分析 2、ADS模型：ADS_APP_UPG 3、计算 1)、计算...原创 2020-11-24 16:59:57 · 7019 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（11）：埋点日志报表篇2
目录一、【用户分析】新用户留存分析 1、需求分析 2、ADS新用户留存明细表模型 3、ADS新用户留存明细表开发二、【明细构建】DWD层建模及开发 1、数据建模 ...原创 2020-02-08 23:30:53 · 3022 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（10）：埋点日志报表篇1
目录一、【数据加载】ODS层数据加载 1、数据建模 2、模型，表结构 3、加载数据二、【明细构建】DWD层建模及开发 1、数据建模 ...原创 2020-02-08 12:31:04 · 6781 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（09）：日志预处理篇
目录一、需求说明 1、清洗过滤 2、数据解析 3、数据集成 4、数据修正 5、保存结果二、id-mapping技术手段1...原创 2020-02-07 21:13:34 · 6278 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（08）：ID-MAPPING
目录一、id-mapping概述二、id-mapping技术手段1：借助redis三、id-mapping技术手段2：借助图计算四、id-mapping开发实现 1、开发目标 2、整体逻辑 3、重点细节问题 &...原创 2020-02-07 19:21:13 · 10140 阅读 · 2 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（07）：字典构建篇
目录一、地理位置字典构建 1、需求说明 2、新技能：GeoHash编码 3、地理位置字典构建代码实现 1)、需求说明 ...原创 2020-02-07 18:53:57 · 6083 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（06）：工程搭建篇
目录一、工程创建二、补充：maven扩展知识三、拉取gitee上的项目 1、前提 2、项目一、工程创建创建一个父工程；父工程中引入公共的依赖和插件；<?xml version="1.0" encoding="UTF-8"?><project xmlns=...原创 2020-02-07 17:57:39 · 6134 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（05）：数据采集篇
目录一、日志埋点技术二、Flume采集系统架构图三、4.3Sqoop/DataX采集业务数据 1、导入策略分析 1)、要导入的表 &nb...原创 2020-02-07 19:22:22 · 6107 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（04）：数仓概念篇2
目录一、事实和维度 1、基本概念 2、事实表及维度举例 3、维表举例 4、维度建模经典模型二、数仓分层管理 1、数仓分层概述...原创 2020-02-07 14:51:32 · 6474 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记（03）：数仓概念篇1
目录一、什么是数据仓库二、数据库vs数据仓库 1、数据库 2、数据库vs数据仓库三、报表vs数据可视化vs ETL 1、报表 2、数据可视化 &nbs...原创 2020-02-06 19:46:07 · 6500 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（02）：数据介绍篇
目录一、App/Web埋点日志 1、整体架构 2、事件类型说明 3、字段类型说明 4、UTM广告跟踪特别说明二、业务数据一、App/Web埋点日志 ...原创 2020-02-07 19:32:04 · 6047 阅读 · 0 评论 -
《大型综合项目-基于大数据平台的数据仓库》学习笔记之（01）：项目介绍篇
目录一、项目整体背景 1、数据仓库 2、用户画像系统 3、推荐系统二、项目整体架构 1、预处理 2、ODS层的表 ...原创 2020-02-06 12:54:26 · 7957 阅读 · 0 评论