- 博客(26)
- 收藏
- 关注
RSS订阅原创 HDFS读取数据流程
HDFS读取数据流程首先客户端发送请求到DFS，申请读取某一个文件DFS就会取NameNode查找这个文件的信息(比如：权限，文件是否存在)如果文件不存在，或者客户没用权限，那么就抛出指定的错误如果文件存在，返回一个成功的状态如果DFS接收到成功状态就会创建FileDataInputStream对象，客户端再通过这个输入流对象来读取数据客户端会请求文件和BLK的关系，请求BLK与DataNode的关系，然后获取文件第一个Block信息,返回DataNode1 DataNode2 Data
2021-12-21 23:05:25
275
原创 SparkCore之Partitiion
SparkCore之Partitiion文章目录SparkCore之Partitiion1.概念2.Spark Core的数据分区方式2.1.HashPartitioner2.2.RangePartitioner1.概念首先先了解一下Spark RDD,Spark RDD是一种分布式的数据集，但是由于数据量很大，因此要它被切分并存储在各个结点的分区当中，这个“分区”就是Partition-RDD包含多个Partition如图RDD1就包含了4个Partition,RDD2包含了两个
2021-12-13 16:08:32
1437
11
原创 ClickHouse数据类型
数据类型文章目录数据类型1.基本数据类型1.1.整数1.2.浮点数1.3.定点数1.4.布尔2.字符串3.日期时间4.复合类型4.1.数组4.2.元组4.3.枚举4.4.嵌套5.其他类型5.1.Nullable（TypeName）5.2.Domain(域)1.基本数据类型1.1.整数整数Int8、Int16、Int32 和 Int64如果加U就是无符号位后面的数字代表位Int8就相当于以前学的byte，Int16就相当于short,int32就相当于int，int64就相当于long
2021-11-30 19:45:24
582
2
原创 Hbase数据刷写
数据刷写1.触发时机MemStore内存默认是128M，当某个MemStore超过128M就会将其所在 region 的所有 memstore 都会刷写。如果我们数据增加的很快，哪怕一到128M就刷写数据量还是在增加(数据增加速度大于刷写速度)，当MemStore达到128*4=512MB的时候，就会阻止客户端写入数据到该MemStore当 RegionServer的所有MemStore 占用内存总和大于总内存 *40% *95%的时候，整个RegionServer开始进行刷写如果达到了
2021-11-29 09:55:20
2705
1
原创 Hbase的读写流程
Hbase的读写流程1.hbase的公共流程用户在访问数据时，如何找到该条数据对应的region呢？通过rowkey对应regionserver1.1.HBase 0.96以前系统维护了两张表-ROOT-使用-ROOT-表来记录.Meta.的存放位置-ROOT-表只需要一个Region，它不会被切分-ROOT-的Region信息被记录到Zookeeper.Meta..Meta.表中存储了表对应Region对应的RegionServer Rowkey的区间但是.Meta
2021-11-27 10:00:37
1508
原创 数据仓库，数据集市，数据孤岛，数据湖，数据中台
数据仓库，数据集市，数据孤岛，数据湖，数据中台文章目录数据仓库，数据集市，数据孤岛，数据湖，数据中台1.数据仓库2.数据集市3.数据孤岛4.数据湖5.数据中台1.数据仓库定义：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理中的决策制定作用数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改这解释一下主题和主题域
2021-11-26 09:47:40
2453
1
原创 数据仓库建模
DataWareHouse数据建模文章目录DataWareHouse数据建模什么是数据建模？什么是数据模型？数据仓库模型的组成为什么需要数据模型？数据仓库的发展大致经历了三个过程数据仓库数据模型架构最后引出什么是数据建模？维度表的分类事实表维度表总结数据组织类型星型模型雪花模型星座模型怎么数据建模？范式建模法(其实就说关系建模)维度建模法实体建模法什么是数据建模？顾名思义就是建立数据仓库模型，所以我们要先了解以下的问题什么是数据模型？数据模型是抽象描述现实世界的一种工具和方法，是通过抽象的实体和实
2021-11-25 13:57:19
846
1
原创 redis缓存
缓存文章目录缓存1.什么是缓存？2.缓存的分类3.缓存原理4.Web项目常见的缓存场景5.缓存的四个问题(缓存命中率的设计)5.1.缓存穿透5.2.缓存击穿5.3.缓存雪崩5.4.缓存一致性1.什么是缓存？缓存是存储在计算机上的一个原始数据复制集，以便于访问。2.缓存的分类cpu缓存作用：匹配cpu的频率客户端缓存作用：减少网络访问服务端本地缓存作用：减少磁盘IO分布式缓存作用减少耗时的复杂运算加速DB中的热点数据访问3.缓存原理将数据副本
2021-11-25 11:06:50
440
1
原创 Hbase架构
Hbase架构HBase有三个主要组成部分：客户端库，主服务器和区域服务器。1. Client定义：客户端客户端的连接方式shell命令：hbase shell类JDBC(ODBC)API实现(以JavaApi为例)Hbase提供了Java的API来操作表与列簇等信息，它的shell就是对Java的API做了一层封装。Hbase的Java API提供了很多高级的特性元数据管理，列簇的数据压缩，region分隔创建，删除，更新，读取 rowkey发送的请求主要包括
2021-11-24 20:30:48
1881
1
原创 Hbase的数据模型
Hbase的数据模型文章目录Hbase的数据模型NameSpaceTableRowKeyColumn FamilyColumn QualifierTimestampCellNameSpace定义：命名空间，他是指对一组表的逻辑分组，类似RDBMS中的数据库作用：利用命名空间，在多租户场景下可做到更好的资源和数据隔离。命名空间可以管理维护，我们可以创建，删除或更改命名空间两个特殊的命名空间：hbase：系统内建表，包含namespace和meta表default：用户建表时未
2021-11-17 20:33:09
2182
原创 十大排序算法
十大排序算法不值钱冒泡排序默认以升序排列(从小到大)冒泡排序就是从第一个开始将相邻的两个进行排序，大的往后移动，然后继续向右进行比较，直到和最后一个比较完，然后又从第一个开始，重复上面的操作，直到倒数第二个，因为最后一个在第一次比较的时候以及确认是最大的了，就这样每轮比较确定一个数据，知道所有数据全部确定。如果后面的数字没有任何交换，那么这个数组就是有序的。平均时间复杂度：O(n^2)最好情况：O(n)最坏情况：O(n^2)空间复杂度：O(1)排序方式：In-place稳定性：稳定
2021-11-03 16:45:04
236
1
原创 关系型数据库的演变以及非关系型数据库
关系型数据库的演变以及非关系型数据库文章目录关系型数据库的演变以及非关系型数据库数据库分类什么是关系型数据库关系型数据库MySQL数据库的模式的发展mysql的单机时代Memcached（缓存）+ MySQL + 垂直拆分什么是垂直拆分？MySQL主从读写分离分表分库+水平拆分+Myql集群讲分库分表之前先聊一下数据库的存储演变大概什么情况考虑分库分表？MySql数据库分库分表的规则但是分库分表想法上是好的，也带来了一些新的问题MySQL的扩展性瓶颈为什么用NoSQL?非关系型数据库数据库分类而在当今
2021-11-03 10:29:56
373
原创 abstract 和 final
abstract 和 finalabstract(能被修饰的都是能继承或者重写的)abstract 修饰类就是抽象类抽象类是不能实例化的，即不能被分配内存;而static修饰的方法在类实例化之前就已经别分配了内存，这样一来矛盾就出现了：抽象类不能被分配内存，而static方法必须被分配内存。所以抽象类中不能有静态的抽象方法。抽象类可以声明变量但是abstract不能修饰变量无论是不是抽象类。可以声明构造器但是不能被abstract修饰，因为构造器不能被继承，也不能重写，无论是不是抽
2021-07-30 22:50:41
148
3
原创 Java中的重写和重载，方法签名，还要this和super
Java中的重写和重载，方法签名，还要this和superthis和super的区别1.this:this()如果里面没有参数就是调用当前类的无参构造器如果里面有参数就是调用当前类的有参构造器这个只能放在调用的第一行，this()和super()不能同时出现在一个调用的方法里面this.this.是用来区分和属性同名的变量的，当没有和属性同名的变量是this.可以默认不写，默认不写是指系统会自动相当于添加this.注意：默认不写的只有this.，super不能，只要要用super.
2021-07-29 13:08:27
70
1
原创 Java方法知识概况
Java方法知识概况1. 代码块在说方法 之前不得不说一下代码块。块（有时叫做复合语句），是用花括号扩起的任意数量的简单java语句。块确定了局部变量的作用域。块中的程序代码，作为一个整体存在。{ 内容(java语句)}2. 方法方法是一个带名字的能够解决特定问题的代码块，可以多次使用2.1. 为什么会出现方法main方法过于臃肿重复执行的代码块 命名，方便重复使用方便自上而下分解问题方便维护代码比如：项目要求要输出多次同一个内容，如果不把他们写在方法里面，我们就要重复
2021-07-23 10:56:28
91
原创 java基础练习三道题
java基础练习三道题题目一：1. 用户输入一个整数，然后生成对应长度的随机验证码2. 验证码要求随机判断生成数字，大写字母，小写字母实现流程: 1.用户输入一个整数的实现 创建一个Scanner对象，然后调用其方法，实现键盘录入，得到 用户输入的值 2.判断是生成数字还是字母，利用random.nextInt(2)来随机生成0和1 (如果想数字和大小写字母的生成概率都是1/3，这里可以是
2021-07-21 11:11:24
85
原创 Java基础语法
Java基础语法1. 命名规范所有变量、方法、类名：见名知意类成员变量：首字母小写和驼峰原则 : monthSalary局部变量：首字母小写和驼峰原则常量：大写字母和下划线：MAX_VALUE类名：首字母大写和驼峰原则: Man, GoodMan方法名：首字母小写和驼峰原则: run(), runRun()2. 数据类型1. 整型变量类型占用存储空间表数范围byte1字节-128~127short2字节-2^15 ~ 2^15-1 （-32768
2021-07-20 19:20:21
64
原创 Java中的变量
Java中的变量1. 变量的划分 1. 成员变量（全局变量） 2. 局部变量1.1. 成员变量的划分 1. 实例变量 2. 静态变量1.2. 局部变量局部变量 ：方法或语句块内部定义的变量。生命周期是从声明位置开始到 } 为止。在使用前必须先声明和初始化1.3. 实例变量实例变量（成员变量 ）：方法外部、类的内部定义的变量。从属于对象，生命周期伴随对象始终。1.4. 静态变量静态变量（类变量 ）：使用static定义。 从属于类，生命周期伴随类始终，从类加载到卸载。它是特殊的成
2021-07-20 13:28:42
48
1
原创 jsp动态获得数据乱码问题
jsp动态获得数据乱码问题1.2.在tomacat中在VM option里面添加-Dfile.encoding=UTF-8
2021-07-08 11:38:58
77
原创 解决servlet jsp中中文乱码问题
解决servlet jsp中中文乱码问题1. 页面中文乱码1.1. 在.jsp文件的head中加上 <meta charset="UTF-8">1.2. 或者在.jsp文件最上面加上 <%@ page contentType="text/html;charset=UTF-8" language="java" %>2. 请求中文乱码2.1. post请求中文乱码在servlet中加上 req.setCharacterEncoding("UTF-8");
2021-06-03 15:54:04
286
原创 本身jdk是1.8的导入jdk11的项目intellij IDEA
本身jdk是1.8的导入jdk11的项目intellij IDEA1. 双击打开intellij IDEA2. 点击File–>Project Structure然后把project和sdks部分1.8的全部改为11的如图：
2021-06-01 11:25:25
625
原创 eclipse关联jdk和tomcat
eclipse关联jdk和tomcat1. 双击打开eclipse2.点击window–>preferences3. 选择java—>installed JRES，在右侧就会出现我们以前配置好的JDK，点击OK,如果右侧没有出现以前配置好的JDK，就add然后找到路径添加应用4. 关联tomcat，选择service–>runtime environments(有service),然后add添加，finish完成然后应用关闭。如果没有service则说明没有下插件，所以这里就
2021-06-01 11:13:37
574
原创 tomcat的配置
tomcat的配置运行tomcat需要jdk的支持，tomcat会通过JAVA_HOME到到jdk所以当前用的jdk最好在JAVA_HOME中。解压完tomcat后启动 Tomcat (在 tomcat 的安装目录下的 bin 目录下的startup.bat双击或者 使用命令行启动 tomcat)此时如果cmd中出现乱码，只需打开conf目录下logging.properties，把其中的 java.util.logging.ConsoleHandler.encoding = UTF-8
2021-05-31 09:18:19
89
原创 JDK的配置
JDK的配置安装完后。配置环境变量可以建立 JAVA_HOME JAVA_HOME11.0等等，这样可以设置多个jdk后期方便切换jdk环境，不用删除什么的。因为我一开始是用jdk1.8的，现在想用jdk11。但jdk1.8的环境又不想变。然后path 输入 %JAVA_HOME%/bin %JAVA_HOME11
2021-05-30 20:22:46
74
原创 markdown使用用法
markdown使用用法1. 标题一级标题 #+空格+内容二级标题##+空格+内容三级标题###+空格+内容四级标题####+空格+内容五级标题#####+空格+内容六级标题######+空格+内容2. 代码块或文件块语法 ```+代码具体的语言或配置文件后缀结尾再用```3. 短代码`短代码`public class4. 列表无序（+ - * 都可以）- +空格+ 内容有序数字+点+空格+内容好嗯哦5. 表格ctrl+T6
2021-05-30 17:31:34
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人