- 博客(28)
- 收藏
- 关注
RSS订阅原创 RFM计算SQL
需求：RFM模型介绍：RFM模型是客户关系管理领域里的一种消费行为分析模型，用来衡量用户的内在价值和忠诚度。它从三个关键维度描述用户的购买行为，其中R近度(Recency)代表最近购买时间，指上次购买距离当前的时间间隔；F频度(Frequency)代表购买频率，指某一段时间内购买的次数；M额度(Monetary)代表总购买金额，指某一段时间内购买商品的金额。经过研究发现：R值越小，用户越有可能产生新的交易。F值越大，用户越有可能产生新的交易。M值越大，用户越有可能产生新的交易。
2022-04-29 13:15:26
897
1
原创 分布式计算框架Map/Reduce
一、分布式计算框架MapReduce1、MapReduce是什么面向大数据并行处理的计算模型、框架和平台。2、特点分布可靠，对数据集的操作分发给集群的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态封装了实现细节，基于框架API编程，面向讹误展开分布式编码提供跨语言编程的能力3、企业应用各大运营商、中大型互联网公司、金融银行保险类公司等二、MapReduce运行流程1、MapReduce的主要功能数据划分和计算任务调度系统优化出错检测和恢复2、MapReduce的运
2021-09-02 16:03:24
283
原创 分布式文件系统HDFS
一、HDFS架构设计1.HDFS是什么HDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。海量数据存储、一次写多次读、流式数据访问、存储文件副本等特点。2.HDFS组件角色2.1NameNodeHDFS 元数据管理者，管理 NameSpace(文件系统命名空间)，记录文件是如何分割成数据块以及他们分别存储在集群中的哪些数据节点上。NameSpace 或其本身属性的任何更改都由 NameNode 记录，维护整个文件系统的文件和目录。2.2Dat
2021-09-01 16:24:51
143
原创 Hadoop相关知识
一、Hadoop概述Hadoop是一个开源软件框架，用于在商用硬件集群上存储数据和运行应用程序。它为任何类型的数据提供海量存储，巨大的处理能力以及处理几乎无限的并发任务或作业的能力。二、Hadoop核心组件与应用1、核心组件2、组件介绍HDFS：分布式海量数据存储功能Yarn：提供资源调度与任务管理功能 资源调度：根据申请的计算任务，合理分配集群中的计算节点(计算机)。 任务管理：任务在执行过程中，负责过程监控、状态反馈、任务再调度等工作。MapReduce：分布式并行编程模型和计算
2021-09-01 15:37:22
84
原创 Linux相关知识
1、Centos安装过程，以及注意事项安装过程VirtualBox安装操作系统CentOS安装将虚拟机存储启动顺序设置为光驱为第一驱动、硬盘为第二驱动讲CentOS系统镜像配置到虚拟机光驱中启动虚拟机，按提示安装系统安装完系统后再更新一下最新配置到系统当中安装好系统且更新完系统配置后，关闭虚拟机当中的主机电脑将虚拟机存启动顺序设置为硬盘为第一启动，光驱为第二启动启动虚拟机，系统可以正常使用安装增强工具注意事项安装依赖，使用 yum install 命令重启系统 reboot配置
2021-09-01 15:21:54
50
原创 flink经典实战案例
一、java版flink-wordcount-离线计算版1.1maven构建flink，加入依赖<!-- flink包依赖配置-start --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version
2021-08-31 20:46:45
8267
1
原创 Flink架构及运行流程
Flink 架构及相关介绍1.架构图分层设计说明(相关术语解释）物理部署层-deploy层负责解决Flink的部署模式问题，支持多种部署模式：本地部署、集群部署（Standalone/Yarn/Mesos）、云（GCE/EC2）以及kubernetes。通过该层支持不同平台的部署，用户可以根据自身场景和需求选择使用对应的部署模式。Runtime核心层是Flink分布式计算框架的核心实现层，负责对上层不同接口提供基础服务。支持分布式Stream作业的执行、JobGraph到Executio
2021-08-30 19:48:31
1278
原创 flink简介
flink初识1、产生背景随着互联网应用的快速发展，实时流数据产生日益增多和普遍化。如日常生活、金融、驾驶、LBS、电商等众多领域概模能外。实时数据的处理和挖掘能够带来离线数据处理和挖掘更多的社会发展和商业价值。如何快速响应和处理这些大规模的实时数据流，成为众多互联网大厂的当务之急。在flink之前也出现了很多流数据处理引擎，包括storm、sparkstreaming等知名流行框架，但各自均有较明显的不足，导致没有达到理想的流处理引擎的标准要求优秀流处理引擎标准要求低延迟、高吞吐量、容错性、
2021-08-30 19:36:21
230
原创 hbase经典问题剖析
hbase经典问题剖析1）hbase架构设计之元数据管理之root表和meta表说明？hbase0.98版本及之前元数据管理说明概要说明HBase的用-ROOT-表来记录.META.的Region信息，就和.META.记录用户表的Region信息一模一样。-ROOT-只会有一个Region。Client端就需要先去访问-ROOT-表。所以需要知道管理-ROOT-表的RegionServer的地址。该地址被存在ZooKeeper中。默认的路径是：/hbase/root-region-server
2021-08-24 19:24:33
107
原创 Spark常用算子分析与应用
Spark常用算子分析与应用1 Value型转换算子• 1) mapo 类比于mapreduce中的map操作，给定一个输入通过map函数映到成一个新的元素输出 case_1val first = sc.parallelize(List(“Hello”,“World”,“哈哈哈”,“大数据”),2)val second= first.map(_.length)second.collect case_2val first = sc.parallelize(1 to 5,2)first.
2021-08-19 18:46:33
110
原创 Scala实现单例模式
Scala单例模式object Scala_TestSingleton { def main(args: Array[String]): Unit = { val s1: Single = Single.getInstance() println(s1)//std1和std2输出的地址一样 val s2: Single = Single.getInstance() println(s2) }}//主构造方法私有化class Single
2021-08-17 16:24:21
198
原创 Java设计模式之单例模式
懒汉模式/**懒汉式单例类.在第一次调用的时候实例化自己*/public class Singleton {//Singleton通过将构造方法限定为private避免了类在外部被实例化，//在同一个虚拟机范围内，Singleton的唯一实例只能通过getInstance()方法访问。private Singleton(){}private static Singleton single=null;//没考虑线程安全问题// public static Singleton get
2021-08-17 16:16:32
58
原创 2021-05-06
css字体大小font-size:40px;字体粗细font-weight:700;字体风格 倾斜font-style: oblique设置字体，逗号隔开font-family: “KaiTi”,“黑体”；首行缩进两个字体大小text-indent:2em;/* 颜色相关 // 1 英文单词 /color:orange;/ 2 6位16进制,前两位红色,中间两位绿色,最后两位蓝色 /color: #F25643;/ 3 3位16进制 /color: #f00;/ 4 r
2021-05-06 21:15:38
47
原创 2021-04-27
DQL-连接查询1.1 笛卡尔积笛卡尔积,也有的叫笛卡尔乘积多表查询中,链接的where限定条件,不能少于 表的个数-1 , 否则就会发生笛卡尔乘积 , 这个限定条件并不是随便一个限定条件,而是用于维护映射两个表的条件,比如 外键笛卡尔乘积是一个很消耗内存的运算，笛卡尔积产生的新表，行数是原来两个表行数的乘积，列数是原来两个表列数的和。所以我们在表连接时要使用一些优化手段，避免出现笛卡尔乘积。数据#创建表及插入记录CREATE TABLE class (cid int(11) NOT NUL
2021-04-27 20:37:31
58
原创 2021-04-16
线程1.基本概念程序：指令的集合，静态的代码，静态的对象进程：程序一次执行过程，有生命周期，动态线程：进程的进一步划分2.单核、多核CPU2.1理解单核cpu一个时间单元只能执行一个线程，多核支持多线程Java应用程序至少有三个线程，main主线程，gc垃圾自动回收，异常处理线程2.2并行和并发并行：多个CPU同时执行多个任务并发：一个CPU同时执行多个任务2.3多线程优点提高应用程序的响应。对图形化界面更有意义，可增强用户体验。提高计算机系统CPU的利用率改善程序结构。将既
2021-04-16 19:11:39
78
原创 2021-04-15
转换流、缓冲流、序列化、打印流1.IO1.1转换流1.1.1OutputStreamWriter//字符输出流//字节输出流转换为字符输出流FileOutputStream fos = new FileOutputStream(“E:\123.txt”,true);// 转换为字符流OutputStreamWriter osw = new OutputStreamWriter(fos);osw.write(“asfdfhhtr”);osw.flush();// osw 关闭后 会自动把
2021-04-15 20:12:58
40
原创 2021-04-14
public static void main(String[] args) throws IOException{// TODO Auto-generated method stub//绝对位置，根目录D:\workspace\w20210322_17\JavaSE_08_IO\src\com\Test_01.java"//相对位置，当前目录./src/com/Test_01.java//创建字节流输入对象//绝对位置加括号双引号FileInputStream fileInputStream=
2021-04-14 21:52:08
42
原创 2021-04-13
散列1.集合1.1Set无序，不可重复TreeSet：底层是红黑树；HashSet:底层是散列1.2底层实现所以 HashSet 其实就是HashMap,只不过在set中,把map的value部分给屏蔽了只对外提供key的操作1.3使用Set set = new HashSet();set.add(1);set.add(“xx”);set.add(1);System.out.println();2.Map2.1散列表概述Hash算法 : 是一种安全的加密算法,把不定长的输入
2021-04-13 19:25:07
78
原创 2021-04-12
Set\比较器1.集合1.1set无序，不可重复1.1.1Treeset1.1.1.1概述会按某种顺序进行排序比较器有两种：要添加的元素实现比较器，专门准备一个比较器类（优先级高）进行排序的时候根据返回值进行比较如果是0说明重复，不添加，大于0，元素大往后放，小于0，往前放1.1.1.2基本使用set.add();set.size();set.contains();set.isEmpty();set.remove:1.1.1.3注意如果使用treeset那么元素必须要比较器
2021-04-12 20:50:03
49
原创 2021-04-10
集合、List、Set1.集合1.1是什么是使程序能够存储和操作元素不固定的一组数据集合长度不固定，不能存放基本数据类型，只能存放对象的引用如果集合存放基本数据类型，一定要将其装箱成对应的基本数据包装类1.2继承体系Java的集合类主要由两个接口派生而出：Collection和Map。Collection和Map是Java结合框架的根接口,这两个接口又包含了一些子接口或实现类。下面我们列举出最常用的几个子接口和实现类：Collection ——> List ——> ArrayL
2021-04-10 20:59:47
62
原创 2021-04-08
常用API1.String1.1是什么String 是字符串类 , 在 java.lang.String , 所以使用不需要导包 底层就是一个char数组,所以字符串很多特性就是数组特性 数组特性 : 查询更改快,添加删除慢 长度一旦确定不可更改 字符串一旦确定 不能更改 为了提升字符串的效率,java提供了一个"缓存机制",字符串常量池 String是引用类型,那么字符串应该保存在堆内存中,而字符串确被保存在常量池中 在程序执
2021-04-08 20:19:40
65
1
原创 2021-04-07
接口interface 定义接口的关键字语法 public interface 接口名{}接口不能被实例化对象，也没有构造方法解决Java中单继承功能变弱问题一个类只能继承一个父类，但是可以实现多个接口，多个之间用逗号隔开，extends改为implementsJava1.8之前 接口中只能有抽象方法和常量 但public，static，final，abstract，都可以省略1.8开始 可以有静态，default（普通类中的成员方法）静态方法直接用接口名调用default方法，实现类对象
2021-04-07 20:36:46
168
1
原创 day11
抽象类、接口抽象类abstract定义：修饰符，修饰的类不能被实例化修饰的成员方法没有方法体，需要子类覆写抽象类中可以没有抽象方法，但是抽象方法必须在抽象类中抽象类一般用于被继承，而抽象方法只能用于被子类覆写如果一个非抽象类继承一个抽象类，则必须实现所有的抽象方法如果一个抽象类继承一个抽象类，则可以实现0到多个抽象方法abstract和final不能同时出现面向对象面向过程：完成一件事的步骤面向对象：侧重于分工作去做类：定义模板，根据属性定义变量，根据属性定义方法对象：模板的具体
2021-04-06 22:15:37
37
原创 javase day-05 数组 排序 二分法
数组概述存储相同数据类型的存储容器，有序，可重复，线性空间连续数据结构计算机存储数据的结构数组声明静态声明知道每个元素的情况下用静态声明int i = 1;int [] is = { 1,98,889,23,23};int [] [] is ={{1,2,3},{2,3,4},{90,3,4}};boolean [] bs = {false,false,false};动态声明预先不知道具体数据，但是需要指定长度,会有默认值占位int [] as = new
2021-03-28 15:46:41
110
原创 JavaSE Day-04
内存划分、递归、数组内存划分程序 : 可执行文件(指令集合),是个静态概念,一般保存在硬盘中进程 : 正在执行的文件,是一个动态概念,运行起来的程序,就是指载入到内存中的可执行文件,这个时候操作系统会开启一个进程来运行内存中的这个文件对象,如果要关闭某个程序,就可以直接杀死这个进程JVM内存划分Xxx.class 是个静态概念,保存在硬盘中,当我们执行java 运行命令的时候,会把该class文件载入内存中Java Runtime Data Area : java运行时数据区域,我们一般叫JVM
2021-03-25 18:27:00
38
原创 JavaSE day_03
switchpublic class Switch_01 {public static void main(String[] agrs) {char c =‘S’;switch ©{case ‘A’:System.out.println(“优秀”);break;case ‘B’:System.out.println(“良好”);break;case ‘C’:System.out.println(“及格”);break;//case可以合并case ‘D’: cas
2021-03-24 20:28:33
50
原创 JavaSe day_02
day_02 数据类型、变量、操作符数据类型分类小数默认是doublefloat声明方式，需要在值后面追加 F/fchar是字符型，使用‘’英文单引号表示，有且只有一个数据，占两个字节short 短整型 2字节java中的boolean类型，值只有true/false,不参与类型转换，主要用于流程控制类型转换1.boolean 不参与转换2 低精度到高精度是自动转换，高精度到低精度是强制转换混合运算混合运算中，结果的类型为运算中最大的数据类型混合运算中，byte,short,in
2021-03-23 18:56:37
113
原创 JaveSE Day_01
JaveSE Day_01安装规范安装目录不要使用特殊符号、汉字、空格等磁盘分类方便管理概述1991年,命名OAK,是SUN公司推出,1995开始以java名义推出Java之父詹姆斯·高斯林JavaSE,JavaEE,JavaME特性四大特性 : 自动垃圾回收机制,面向对象,跨平台,多线程编译型语言 : 运行之前,先把源文件,通过指定的编译器生成 机器码文件,可以让计算机直接识别优点 : 只需要编译一次,就可以运行多次,执行效率高缺点 : 跨平台性能差解释型语言 : 每次运行之前,
2021-03-22 19:47:03
527
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人