- 博客(24)
- 收藏
- 关注
RSS订阅
原创 数据仓库，数据集市，数据湖
目录一、数据仓库和数据集市的概念二、数据集市的特点三、数据仓库与数据集市的区别四、数据湖的出现出现的原因：数据湖的优点：数据湖架构显著的特点：五、数据仓库和数据湖对比一、数据仓库和数据集市的概念 数据仓库：是一个集成的面向主题的数据集合，设计的目的是支持DSS（决策支持系统）的功能，在数据仓库里，每个数据单元都和特定的时间相关。数...
2019-11-03 20:29:24
5938
转载 干货：解码OneData，阿里的数仓之路。
目录一、起因二、背景1）数据标准不统一2）服务业务能力3）计算存储成本4）研发成本三、他山之石——行业内是如何做的？四、阿里的数仓模型体系要如何构建？第一阶段：第二阶段：第三阶段：落地实现A）数据规范定义B）数据模型架构C）研发流程和工具落地实现实施效果一、起因据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4...
2019-11-02 14:59:59
1348
原创 刷题——求斐波那契数列的第n项（迭代）
题目描述大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0）。n<=391,1,2,3,5,8,13,21....迭代解决public class Solution { public int Fibonacci(int n) { int a = 1; int b = 1; int s...
2019-11-29 16:10:24
458
原创 刷题——变态跳台阶（递归与迭代）
题目描述一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。解题思路分类讨论根据青蛙跳的次数进行统计（1......到n次）发现1级台阶1种 f(1)=12级台阶2种 f(2)=23级台阶4种 f(3)=44级台阶8种 f(4)=8分析数据得出结论f(...
2019-11-29 15:30:28
384
原创 SSM+Springboot+MySQL+echarts数据可视化展现（详细）
目录项目结构一览一、数据库准备二、相关文件的配置1、pom文件2、Mybatis映射文件3、Mybatis的主配置文件4、yml文件三、项目的搭建1、创建entity实体类2、创建dao层接口3、创建业务层接口4、创建业务层实现类5、主启动类四、前端页面整体效果项目结构一览一、数据库准备详情请参见二、相关文件的配置...
2019-11-28 10:41:07
6027
5
原创 基于hive数仓的游戏指标分析
目录一、分析指标数据二、基础层数据处理1、先把全部数据导入到HDFS中2、创建一个外部表，将数据导入到hive中3、分割txt文件中的数据4、取出需要的值，并建表5、检查数据日期三、设计展现层数据四、建立数据中间层五、新建maven工程JDBC连接hive与mysql1、启动hive服务2、向pom文件中导入依赖3、编写java文件六、将数据...
2019-11-28 10:09:01
1297
原创 数据结构——链表（一）单链表的创建和遍历
1、链表介绍链表是有序的列表1)链表是以节点的方式来存储,是链式存储2)每个节点包含 data 域， next 域：指向下一个节点.3)如图：发现链表的各个节点不一定是连续存储.4)链表分带头节点的链表和没有头节点的链表，根据实际的需求来确定2、链表创建和遍历package linkedlist;public class LinkedListTest01 {...
2019-11-24 20:36:13
554
原创 JAVA二分查找法两种实现方式
package test2;//二分查找的前提是数组已经拍好了顺序public class 二分查找 { //递归实现二分查找 public static int twoSearch(int[] arr,int key,int low,int high){ //判断关键字是否在最小索引low和最大索引high之间，并high>low if(key<arr[low...
2019-11-23 10:49:41
114
原创 Spark的学习（二）RDD弹性分布式数据集
目录一、概念1、什么是RDD？2、RDD的弹性（1）自动进行内存和磁盘数据存储的切换（2）基于血统的高效容错机制（3）Task，Stage如果失败会自动进行特定次数的重试（4）Checkpoint和Persist可主动或被动触发（5）数据调度弹性（6）数据分区的高度弹性3、RDD的属性4、RDD有什么特点？二、RDD的创建1、由一个已经存在的Sc...
2019-11-19 19:13:37
1097
原创 Spark学习（一）Spark基础解析
目录一、概念1、什么是Spark？2、Spark的特点有哪些？3、Spark的架构二、Spark运行流程三、Spark运行原理1、Standalone模式2、Yarn-client模式3、Yarn-cluster模式4、Yarn-client与Yarn-cluster的区别5、Yarn-client与Yarn-cluster的应用场景一、概念1、...
2019-11-19 16:16:39
277
原创 Spark之IDEA版单词计数
目录一、导入Maven的相关依赖二、在本地创建需要统计的单词文件三、编写代码四、结果展示一、导入Maven的相关依赖pom.xml<dependencies> <dependency> <groupId>org.apache.spark</groupId> ...
2019-11-16 15:31:16
671
原创 Spark的安装和单词计数
目录一、Standalone模式安装1、上传并解压spark安装包2、进入spark安装目录下的conf文件夹3、修改配置文件名称4、修改slave文件，添加work节点：（只写两台从机的节点）5、修改spark-env.sh文件，添加如下配置：6、在sbin目录下的spark-config.sh 文件中加入如下配置：7、分发spark包8、启动二、单词计数...
2019-11-15 21:18:14
414
原创 Scala的学习（四）面向对象
目录一、对象创建流程二、包的可见性三、构造器四、面向对象三大特性1、封装案例2、继承1）Scala继承的基本语法2）Scala继承快速入门3）scala子类继承了什么,怎么继承了?4）重写方法5）Scala中类型检查和转换6）Scala中超类的构造7）覆写字段8) 抽象类9）匿名子类3、多态五、伴生对象1、伴生对象的快速入...
2019-11-13 22:25:32
575
原创 Scala的学习（三）数据结构
目录一、数组1、定长数组和变长数组2、遍历数组3、数组转化二、元组1、创建元组2、获取元组中的值3、元组的遍历4、将对偶的集合转换成映射5、拉链操作三、集合1、列表List2、集合Set3、映射Map4、队列Queue5、选项Option6、迭代器Iterator四、常用函数1、map、flatmap2、reduce、...
2019-11-12 21:35:41
205
原创 Scala的学习(二)基本语法
目录Scala基础1、声明变量2、常用类型3、常用类型结构图4、算数操作符重载5、条件表达式6、块表达式7、循环（1）while表达式（2）for表达式8、调用方法和函数9、定义方法和函数(1)定义方法（2）定义函数（3）函数与方法（4）将方法转换成函数（神奇的下划线）10、闭包11、懒值Scala基础1、声明变量...
2019-11-11 22:07:26
468
原创 Scala的学习（一）安装入门
一、概述1、什么是Scala？Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。2、Scala的优点？优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。速度快：Scala语言表达能力强，一行代码抵得上Java多行，开...
2019-11-11 16:48:25
122
原创 Kafka集群部署及命令行操作
目录Kafka集群部署1）解压安装包2）修改解压后的文件名称3）在/opt/module/kafka目录下创建logs文件夹4）修改配置文件5）分发安装包6）分别在hadoop102和hadoop103上修改配置文件7）启动集群8）关闭集群Kafka命令行操作1）查看当前服务器中的所有topic2）创建topic3）删除topic4）发送消息...
2019-11-08 16:25:07
384
原创 leetcode练习12. 整数转罗马数字
示例1:输入:3输出: "III"示例2:输入:4输出: "IV"示例3:输入:9输出: "IX"示例4:输入:58输出: "LVIII"解释: L = 50, V = 5, III = 3.示例5:输入:1994输出: "MCMXCIV"解释: M = 1000, CM = 900, XC = 90, IV = 4.思路...
2019-11-06 11:06:45
113
原创 HBase的Shell操作
一、基本操作1．进入HBase客户端命令行[root@hadoop101 hbase-1.3.6]# bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list二、表的操作1．创建表hbase(main):003:0> create '...
2019-11-05 15:37:17
127
原创 HBase安装
目录一、Zookeeper正常部署二、 Hadoop正常部署三、HBase的解压四、HBase的配置文件1）hbase-env.sh修改内容：2）hbase-site.xml修改内容：3)、修改regionservers：4)、软连接hadoop配置文件到hbase：五、HBase远程发送到其他节点六、HBase服务的启动1．启动方式1a、同步时...
2019-11-05 13:39:14
130
原创 Zookeeper安装
目录分布式安装部署1．集群规划2．解压安装 (1) 解压zookeeper安装包（2）创建zkData（3）重命名zoo_sample.cfg3．配置zoo.cfg文件（1）具体配置（2）配置参数解读4．集群操作（1）创建myid的文件（2）编辑myid文件（4）分别启动zookeeper（5）查看状态分布式安装部署1．集群规划...
2019-11-04 20:10:16
232
原创 Hadoop的集群搭建
目录一、虚拟机环境准备二、安装jdk三、安装Hadoop四、集群配置（重点）1.集群部署规划2.配置集群3.配置集群中从节点信息（datanode）4.分发文件五、集群启动常用集群启动停止方式SSH无密登录配置检验：一、虚拟机环境准备1、克隆三台虚拟机 2、修改主机名 /etc/sysconfig/network...
2019-11-04 19:48:06
206
原创 单例设计模式
目录应用场景：要点：常见的形式：饿汉式：直接创建对象，不存在线程安全问题1、直接实例化饿汉式（简洁直观）2、枚举式（最简洁）3、静态代码块饿汉式（适用复杂实例化）*懒汉式：延迟创建对象1、线程不安全（适用于单线程）2、线程安全（适用于多线程）3、静态内部类形式（适用于多线程）应用场景：单例模式可以解决一个需要全局使用的类进行频繁的创建和销毁，节省...
2019-11-02 14:56:10
96
原创 Hive数据仓库工具（四）分区和分桶
目录一、分区和分桶的概念分区：分桶：二、分区实现1、创建分区按年创建分区t1：按年月创建分区t2：2、向分区添加数据向年分区t1中添加数据向年月分区t2添加数据3、效果如下年分区：年月分区：三、分桶的实现1、分桶之前要执行命令hive.enforce.bucketing=true;2、要使用关键字clustered by 指定分区依据...
2019-11-01 22:34:08
683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人