- 博客(32)
- 收藏
- 关注
RSS订阅原创 MyBatisPlus插件机制
1. 高级：插件机制2.1 自动填充步骤：步骤1：编写处理类，接口 MetaObjectHandler插入填充：insertFill ， setxxxValByName(“字段名”, 值, 对象)更新添加：updateFill步骤2：修改JavaBean，确定那些字段需要添加 @TableField(fill = insert/update/insert_update)步骤1：编写处理类，接口 MetaObjectHandler插入填充：insertFill ， setx
2021-12-21 20:05:11
169
原创 Nuxt.js 视图+axios整合
视图默认模板：项目/app.html，就可以作为模板，需要特殊标记进行内容替换，可参考官方提供的代码。默认布局：位置：项目/layouts/default.vue内容：//切换路由<nuxt-link to="">//显示视图<nuxt/>自定义布局：位置：项目/layouts/自定义名称.vue内容：同默认使用：其他组件（vue页面）export default { layout: '自定义名称' }错误页面：位置：项目/layou
2021-12-15 21:06:19
951
原创 Nuxt.js 概述和使用
SPA（single page web application）单页 Web 应用，Web 不再是一张张页面，而是一个整体的应用，一个由路由系统、数据系统、页面（组件）系统等等，组成的应用程序。我们之前学习的Vue就是SPA中的佼佼者。SPA 应用广泛用于对SEO要求不高的场景中创建项目目录结构目录名称描述assets资源目录，用于存放需要编译的静态资源。例如：LESS、SASS等 默认情况下，Nuxt使用Webpack若干加载器处理目录中的文件componen.
2021-12-13 21:17:25
607
原创 注册流程+SpringAMQP
Direct基于注解声明队列和交换机基于@Bean的方式声明队列和交换机比较麻烦，Spring还提供了基于注解方式来声明。在consumer的SpringRabbitListener中添加两个消费者，同时基于注解来声明队列和交换机：@RabbitListener(bindings = @QueueBinding(value = @Queue(name = "direct.queue1"),exchange = @Exchange(name = "itcast.direct", type = E.
2021-12-02 21:18:23
340
原创 Docker镜像仓库配置
Docker镜像仓库搭建镜像仓库可以基于Docker官方提供的DockerRegistry来实现。官网地址 https://hub.docker.com/_/registry配置Docker信任地址我们的私服采用的是http协议，默认不被Docker信任，所以需要做一个配置：打开要修改的文件vi /etc/docker/daemon.json添加内容："insecure-registries":["虚拟机IP:8080"]重加载systemctl daemon-reload重启d
2021-11-30 17:26:31
2633
原创 RabbitMQ
同步和异步通讯微服务间通讯有同步和异步两种方式：同步通讯：就像打电话，需要实时响应。异步通讯：就像发邮件，不需要马上回复。同步通讯：同步调用的优点：时效性较强，可以立即得到结果同步调用的问题：耦合度高性能和吞吐能力下降有额外的资源消耗有级联失败问题异步通讯异步调用则可以避免上述问题：我们以购买商品为例，用户支付后需要调用订单服务完成订单状态修改，调用物流服务，从仓库分配响应的库存并准备发货。在事件模式中，支付服务是事件发布者（publisher），在支付完成后只需要发布
2021-11-30 16:50:26
98
原创 Docker是什么以及如何安装Docker 如何在Docker中安装mysql和redis
什么是Docker微服务虽然具备各种各样的优势，但服务的拆分通用给部署带来了很大的麻烦。分布式系统中，依赖的组件非常多，不同组件之间部署时往往会产生一些冲突。在数百上千台服务中重复部署，环境不一定一致，会遇到各种问题Docker解决依赖兼容问题而Docker确巧妙的解决了这些问题，Docker是如何实现的呢？Docker为了解决依赖的兼容问题的，采用了两个手段：将应用的Libs（函数库）、Deps（依赖）、配置与应用一起打包将每个应用放到一个隔离容器去运行，避免互相干扰镜像和容器
2021-11-26 09:17:28
665
原创 HDFS不适用场景
HDFS不适用场景1、 查询时效性要求低延迟的场景2、 大量小文件。3、 需要频繁修改数据的场景4、 多个用户同时操作一个文件
2020-10-15 11:47:45
790
原创 InfiniBand网络
InfiniBand网络 优点：吞吐量高，速度快、延时低 缺点：价格昂贵，软件支持比较少 适用场景：在高速网络环境中适用
2020-10-15 11:44:35
819
原创 大数据项目流程
大数据项目流程1、 数据生产2、 数据收集3、 数据存储4、 需求分析5、 数据预处理6、 数据计算7、 结果数据存储8、 结果数据展示
2020-10-15 11:43:13
839
原创 HDFS块缓存
HDFS块缓存通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能。...
2020-10-12 15:56:06
1725
1
原创 抽象成数据块的好处
抽象成数据块的好处一个文件有可能大于集群中任意一个磁盘20T/128 = xxx块，这些block块属于一个文件使用块抽象而不是文件,可以简化存储子系统。块非常适合用于数据备份进而提供数据容错能力和可用性...
2020-10-12 15:55:34
1599
原创 HDFS分块存储
HDFS分块存储hdfs将所有的文件全部抽象成为block块来进行存储，不管文件大小，全部一视同仁都是以block块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理所有的文件都是以block块的方式存放在HDFS文件系统当中，在Hadoop1当中，文件的block块默认大小是64M，Hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定...
2020-10-12 15:55:04
1646
原创 HDFS 基本介绍
HDFS 基本介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。...
2020-10-12 15:54:24
1546
原创 hdfs的文件权限验证
hdfs的文件权限验证hdfs的文件权限机制与linux系统的文件权限机制类似r:read w:write x:execute 权限x对于文件表示忽略，对于文件夹表示是否有权限访问其内容如果linux系统用户zhangsan使用Hadoop命令创建一个文件，那么这个文件在HDFS当中的owner就是zhangsanHDFS文件权限的目的，防止好人做错事，而不是阻止坏人做坏事。HDFS相信你告诉我你是谁，你就是谁...
2020-10-12 15:53:22
1483
原创 hdfs的安全模式
hdfs的安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，当整个系统达到安全标准时，HDFS自动离开安全模式。如果HDFS处于安全模式下，则文件block不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于datanode启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），h
2020-10-12 15:52:20
1551
原创 HDFS缺点
HDFS缺点目标：HDFS不擅长的场景1、不能做到低延迟数据访问：由于hadoop针对高数据吞吐量做了优化，牺牲了获取数据的延迟，所以对于低延迟访问数据的业务需求不适合HDFS。2、不适合大量的小文件存储 ：由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。根据经验，每个文件、目录和数据块的存储信息大约占150字节。因此，如果有一百万个小文件，每个小文件都会占一个数据块，那至少需要300MB内存。如果是上亿级别的，就会超出当前硬件的能
2020-10-12 15:50:33
2636
原创 HDFS的特性
HDFS的特性目标：掌握HDFS具备的特性1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别或更高级别的数据存储。2、高容错性：数据保存多个副本，副本丢失后自动恢复。可构建在廉价的机器上，实现线性扩展。当集群增加新节点之后，namenode也可以感知，进行负载均衡，将数据分发和备份数据均衡到新的节点上。3、商用硬件：Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件（廉价商业硬件）的集群上的。4、大文件存储：HDFS采用数据块的方式存储数据，将数据物理切分成多
2020-10-12 15:49:36
1798
原创 HDFS写入数据的流程
HDFS写入数据的流程1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client请求第一个block该传输到哪些DataNode服务器上；3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；4、 client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用
2020-10-10 09:16:43
2171
原创 HDFS读取数据的流程
HDFS读取数据的流程1、客户端通过调用FileSystem对象的open()来读取希望打开的文件。2、 Client向NameNode发起RPC请求，来确定请求文件block所在的位置；3、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近
2020-10-10 09:16:05
2207
原创 DataNode节点丢失周期
DataNode节点丢失周期DataNode节点长时间没有给NameNode汇报心跳，NameNode认为其丢失。长时间（10分钟+30秒）： 2 * 超时时间 + 10 * 心跳周期
2020-10-10 09:14:52
2217
原创 硬盘做RAID与不做RAID的区别
做RAID:优点：数据的读写效率稍高，缺点：不支持热插拔。一个硬盘损坏，整个服务器需要全部关机再能处理该硬盘。不做RAID:优点：支持热插拔。硬盘损坏即把即插。不用关机。缺点：数据的读写效率稍低。...
2020-10-09 10:58:19
6245
原创 传统Linux系统与大数据linux系统安装的区别
传统Linux系统与大数据linux系统安装的区别传统 系统硬盘（与数据硬盘100%隔离） 两块硬盘做一个RAID1 引导分区 200M 交换分区 内存的两倍 根分区 /（所有的空间） 数据硬盘 多个硬盘制作一个逻辑卷，即将多个物理硬盘制作成一个大的逻辑硬盘大数据 系统硬盘 两块硬盘做一个RAID1 引导分区 200M 交换分区 可以不设置或设置的很小。因为在大数据中需要将其关闭 根分区 /（所有的空间） 数据硬盘 多个硬盘，每个硬盘独立挂载
2020-10-09 08:38:00
2459
原创 数据副本存放机制
数据副本存放机制第一个副本在客户端所在的节点（客户端也是集群内的节点），若客户端在集群外，那么根据一定的计算规则选一个节点。第二份副本，在与第一份相同机柜，且不在同一个服务器的节点上。第三份与第一份第二份不在同一个机柜，且逻辑距离（网络拓扑）最近的机柜选择一个节点存储。...
2020-10-09 08:36:34
2570
原创 DataNode的作用
DataNode的作用1、 负责管理它所在结点上存储的数据的读写，及存储数据。2、 向Namenode结点报告DataNode节点的状态。3、 通过流水线复制实现三份数据副本
2020-10-08 21:29:24
3141
原创 NameNode的作用
NameNode的作用1、 维护目录树，维护命名空间。2、 负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据）3、管理Datanode结点的状态报告
2020-10-08 21:27:32
3430
原创 数据副本机制
数据副本机制数据副本默认是3份。一个数据存储到HDFS后，数据自动复制两份，共三份（三分相同的数据-数据冗余）数据副本存放机制第一个副本在客户端所在的节点（客户端也是集群内的节点），若客户端在集群外，那么根据一定的...
2020-10-08 21:27:00
2794
原创 HDFS存储数据的方式
HDFS存储数据的方式以数据块的方式存储数据。默认一个数据块128M，该数值可以修改。注意：这里的128仅仅是切分数据的阈值。一个大的数据被切分成多个小的128M的数据块，分别存储在集群多个节点的不同位置。...
2020-10-08 21:25:03
2981
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人