- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive教程-详细全部
第1章Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模第2章Hive安装2.1 Hive安装地址2.2 MySql安装2.2.1 安装包准备2.2.2 安装MySql2.2.3 配置MySql2.3 Hive安装部署2.4 Hive元数据配置到MySql2.3.1拷贝驱动2.3.2 配置Met
2021-09-16 14:45:44
5631
原创 Kafka详细教程-及热点面试题
文章目录**第1章 Kafka概述****1.1**消息队列（Message**Queue）****1.1.1**传统消息队列的应用场景**1.1.2**消息队列的两种模式****1.2**定义**1.3**Kafka基础架构**第2章 Kafka快速入门****2.1**安装部署**2.1.1**集群规划**2.1.2**jar包下载**2.1.3**集群部署**2.2**Kafka命令行操作**第3章 Kafka架构深入****3.1**Kafka工作流程及文件存储机制**3.2**Kafka生产者**
2021-08-23 14:54:29
756
原创 叶三《我们唱》-野孩子（眼望着北方）
张佺 1968 年出生，是在青海长大的兰州人。1995 年，他与小他两岁的小索共同创办了「野孩子」乐队。张佺是个严肃的人，在他面前，朋友们会觉得舒服，但不敢放肆。小河说，张佺像一个民间高手，跟这个世界不怎么瓜葛，也不会动摇。在张佺和小索的身上，他感受到西北人的品质——从里到外的放松和坚定，从来不装。这也是民谣的气质。张玮玮说，小索是典型的兰州人，有着兰州人身上最温暖最豪爽的品质。小索永远是笑眯眯的，高高兴兴的。从加入「野孩子」开始，张玮玮和当时几个朋友所有洗衣服、蹭饭、睡觉、借钱……这些生活...
2021-03-15 09:40:04
874
1
原创 Spark之实时项目-需求一日活
文章目录大数据技术之实时项目-需求一日活第1章 需求分析及实现思路1.1 当日用户首次登录（日活）分时趋势图，昨日对比1.2 实现思路1.2.1 功能1：SparkStreaming消费kafka数据1.2.2 功能2：利用redis过滤当日已经计入的日活设备（对一个用户的多次访问进行去重）1.2.3 功能3：把每批次新增的当日日活信息保存到ES中1.2.4 功能4：从ES中查询出数据，发布成数据接口，可视化工程进行调用第2章 功能实现2.1 环境搭建以及编写基础工具类2.1.1 在
2021-03-12 18:19:01
1040
原创 叶三《我们唱》-野孩子（白银饭店）
窗户栏杆有两个螺丝，下面那个可以拧下来。拧下来，窗户就能搬开了。张玮玮从窗户钻出去，跳到院子里，把窗户虚掩上。悄悄地。爸爸妈妈和姐姐都睡得很熟。他再从后院翻墙出去，悄悄地。他就站在白银的夏夜了。白银是戈壁上一张摊开的手掌，平坦，干净。风在手掌心转着圈儿呼哨。路过的火车远远地鸣一两声笛，它们有点像，但是互相听不见。那时候，对张玮玮来说，白银就是这世界上最大的地方。十一岁的张玮玮在夜里奔跑，跑向亮着光的工厂。工厂里有上大夜班的「老小伙儿」——他们二十四五岁，已经上了六七年的班。夜班无聊，...
2021-03-12 13:55:11
1275
2
原创 Spark实战案例-需求1-Top10热门品类
文章目录第5章 Spark案例实操6.1 需求1：Top10热门品类6.1.1 需求说明6.1.2 实现方案一6.1.2.1 需求分析6.1.2.2 需求实现6.1.3 实现方案二6.1.3.1 需求分析6.1.3.2 需求实现6.1.4 实现方案三6.1.4.1 需求分析6.1.4.2 需求实现第5章 Spark案例实操在之前的学习中，我们已经学习了Spark的基础编程方式，接下来，我们看看在实际的工作中如何使用这些API实现具体的需求。这些需求是电商网站的真实需求，所以在实现功能前，咱们必须先将
2021-03-09 18:38:51
4437
6
原创 Spark详细教程及实战-之Spark Core详解
文章目录第1章 Spark概述1.1 Spark是什么1.1 Spark and Hadoop1.2 Spark or Hadoop1.3 Spark 核心模块第1章 Spark快速上手2.1 创建Maven项目2.1.1 增加Scala插件2.1.2 增加依赖关系2.1.3 WordCount2.1.4 异常处理第2章 Spark运行环境3.1 Local模式3.1.1 解压缩文件3.1.2 启动Local环境3.1.3 命令行工具3.1.4 退出本地模式3.1.5 提交应用3.2 St
2021-03-09 10:20:57
1618
原创 ElasticSearch详细教程-基础加实战
文章目录第1章 ElasticSearch基础1.1 简介1.2 使用场景1.3 ES与其他数据存储进行比较1.4 ElasticSearch的特点1.4.1 天然分片，天然集群1.4.2 天然索引1.5 Lucene、Nutch、ElasticSearch关系第2章 ElasticSearch的安装2.1 上传安装包2.2 将ES解压到/opt/module目录下2.3 在/opt/module目录下对ES重命名2.4 修改ES配置文件2.5 教学环境启动优化2.6 分发ES2.
2021-02-05 18:33:21
1503
2
原创 实时数仓项目-实时数据采集
文章目录第1章 实时需求概览1.1 实时需求与离线需求的比较1.2 数仓架构设计1.2.1 离线image-202101201154530071.2.2 实时1.3 本项目主要需求1.3.1 当日用户首次登录（日活）分时趋势图，昨日对比1.3.2 当日新增付费用户(首单)分析(ods+dwd)1.3.3 订单明细实付金额分摊以及交易额统计(dws)1.3.4 ADS聚合及可视化(ads)第2章 项目数据准备2.1 模拟日志生成器的使用2.2 开发SpringBoot程序gm
2021-02-05 18:31:05
972
原创 Azkaban部署
文章目录第1章 Azkaban部署1.1 集群模式安装1.1.1 上传tar包1.1.2 配置MySQL1.1.3 配置Executor Server1.1.4 配置Web Server第1章 Azkaban部署1.1 集群模式安装1.1.1 上传tar包1）将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到hadoop105的/opt/software路径[
2021-02-04 14:37:27
269
原创 大数据电商离线数仓项目-下篇
文章目录第5章 数仓搭建-DWS层5.1 业务术语5.2 系统函数5.2.1 nvl函数5.2.2 日期处理函数5.2.3 复杂数据类型定义5.3 DWS层5.3.1 每日设备行为5.3.2 每日会员行为5.3.3 每日商品行为5.3.4 每日活动统计5.3.5 每日地区统计5.4 DWS层数据导入脚本第6章 数仓搭建-DWT层6.1 设备主题宽表6.2 会员主题宽表6.3 商品主题宽表6.4 活动主题宽表6.5 地区主题宽表6.6 DWT层数据导入脚本第7章 数仓搭建-ADS层7.1 新数据生成7.2 设
2021-02-04 10:05:32
770
2
原创 大数据电商离线数仓项目-上篇
文章目录第1章 数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型第2章 数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2.1 关系建模2.2.2 维度建模2.3 维度表和事实表（重点）2.3.1 维度表2.3.2 事实表2.4 数据仓库建模（绝对重点）2.4.1 ODS层2.4.2 DWD层2.4.3 DWS层2.4.4 DWT层2.4.5 ADS层第3章 数仓搭建-ODS层
2021-02-04 09:54:36
1824
原创 DataGrip安装及使用
文章目录第1章 datagrip安装第2章 datagrip激活第3章 datagrip连接Hive客户端第4章 常用配置第1章 datagrip安装1）双击datagrip-2020.1.5.exe2）进入欢迎页面，点击next3）是否卸载旧的版本 4）修改安装路径5）后面所有步骤，一路下一步，直到完成。第2章 datagrip激活激活方法和激活idea方法一致。第3章 datagrip连接Hive客户端1）启动datagrip后的初始页面2）连接hive客户端
2021-02-03 10:07:21
8887
9
原创 Scala教程-详细全部
第1章 数仓分层1.1 为什么要分层[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H5Xc3t25-1612253300862)(C:\Users\86156\AppData\Roaming\Typora\typora-user-images\image-20210202095729086.png)]1.2 数据集市与数据仓库概念[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9yCemzyJ-1612253300866)(C:\User
2021-02-02 17:29:41
35732
27
原创 Java 基础语法——客户信息管理系统
目标模拟实现一个基于文本界面的《客户信息管理软件》进一步掌握编程技巧和调试技巧，熟悉面向对象编程主要涉及以下知识点：类和对象（属性、方法及构造器）类的封装引用数组数组的插入、删除和替换对象的聚集处理多对象协同工作需求说明模拟实现基于文本界面的《客户信息管理软件》。该软件能够实现对客户对象的插入、修改和删除（用数组实现），并能够打印客户明细表。项目采用分级菜单方式。主菜单如下：-----------------客户信息管理软件-----------------
2020-05-08 21:05:58
2197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人