- 博客(25)
- 收藏
- 关注
RSS订阅原创 SpringBoot整合spring data Redis(掌握)
SpringBoot整合spring data Redis(掌握)redis-sb-demo02：pom.xml中添加redis坐标<!-- 配置使用redis启动器 --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></depende
2021-12-02 21:27:51
1658
原创 Redis安装
Redis安装内容回顾：1 阿里云通信：签名：【公司名称】【项目名称】模板：短信内容AK：账户信息注册流程分析：https://www.processon.com/view/link/5e785f44e4b08e4e2435b788redis：可基于内存亦可持久化的非关系型Key-Value数据库，作为缓存存在内存型：内存读写速度极快，目前市面还找不出比内存读写还快的媒介数据持久化：将数据保存到硬盘上，永久的保存起来（所有的关系型数据库都会进行持久化动作）key-value：键值对，
2021-12-02 21:24:06
242
原创 Docker-Compose一些常见的报错解决方法【部署微服务集群】
部署微服务集群① 上传编写好了docker-compose文件② 启动nacos微服务docker run --env MODE=standalone --name nacos -d -p 8848:8848 nacos/nacos-server:1.4.1注意： nacos微服务启动之后一定要重启网关，否则在后续微服务会报错“failed to req API:/nacos/v1/ns/instance after all servers([127.0.0.1:8848]) tried:”启动网
2021-11-30 21:02:17
4641
原创 RabbitMQ快速入门，快速熟悉RabbitMQ的消息接收发送流程
RabbitMQ中的一些角色：###publisher：生产者consumer：消费者exchange个：交换机，负责消息路由queue：队列，存储消息virtualHost：虚拟主机，隔离不同租户的exchange、queue、消息的隔离基本消息队列的消息发送流程：###建立connection创建channel利用channel声明队列利用channel向队列发送消息基本消息队列的消息接收流程：###建立connection创建channel
2021-11-30 20:57:18
1386
原创 几种常见MQ的对比【消息队列】
RabbitMQActiveMQRocketMQKafka公司/社区RabbitApache阿里Apache开发语言ErlangJavaJavaScala&Java协议支持AMQP，XMPP，SMTP，STOMPOpenWire,STOMP，REST,XMPP,AMQP自定义协议自定义协议可用性高一般高高单机吞吐量一般差高非常高消息延迟微秒级毫秒级毫秒级毫秒以内消息可靠性高一般高一般...
2021-11-30 20:53:17
1233
原创 Docker安装Mysql并解决中文乱码（默认最新版本）
Docker安装Mysql（默认最新版本）安装mysqldocker pull mysql:latest运行mysql容器docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql进入这个容器docker exec -it mysql-test bash打开MySQLmysql -h -localhost -uroot -p123456然后select表发现中文乱码了查看数据
2021-11-25 18:13:37
814
原创 Docker软件命令操作镜像命令操作容器命令
Docker软件相关的命令：systemctl start docker # 启动docker服务systemctl stop docker # 停止docker服务systemctl restart docker # 重启docker服务systemctl enable docker # 开机自动docker服务systemctl disable docker # 禁止开机启动防火墙systemctl status docker # 查看运行状态systemctl start ne
2021-11-25 15:57:14
707
原创 Docker的基本操作
Docker的基本操作镜像操作镜像名称首先来看下镜像的名称组成：镜名称一般分两部分组成：[repository]:[tag]。在没有指定tag时，默认是latest，代表最新版本的镜像如图：这里的mysql就是repository，5.7就是tag，合一起就是镜像名称，代表5.7版本的MySQL镜像。镜像命令案例1-拉取、查看镜像需求：从DockerHub中拉取一个nginx镜像并查看1）首先去镜像仓库搜索nginx镜像，比如DockerHub:2）根据查看到的镜像名称，拉
2021-11-25 15:47:52
125
原创 Docker架构
Docker架构Docker和虚拟机的差异docker是一个系统进程；虚拟机是在操作系统中的操作系统docker体积小、启动速度快、性能好；虚拟机体积大、启动速度慢、性能一般镜像和容器镜像（Image）：Docker将应用程序及其所需的依赖、函数库、环境、配置等文件打包在一起，称为镜像。容器（Container）：镜像中的应用程序运行后形成的进程就是容器，只是Docker会给容器进程做隔离，对外不可见。Docker架构Docker是一个cs架构的程序，由两部分组成：服务端（serve
2021-11-25 15:21:36
558
原创 SPA-Vue企业级开发模式介绍
SPA-Vue企业级开发模式介绍一、什么是SPA？SPA(Single Page Application)：单页面应用程序，是一种前端的开发技术，是现在前、后端分离下的一种产物。传统的网站 我们传统的网站是由很 多个独立的页面 组成的，当我们点击页面中的 a 标签时，就会向服务器发送一个新的请求，然后下载另一个页面显示，跳转时是页面之间的跳转。SPASPA（单页面应用程序），顾名思议，整个网站中只有一个页面，在这个页面中会加载很多个不同的组件，当我们点击按钮时，并不会打开一个新的页面，
2021-10-28 15:21:15
308
原创 JSON数据交互接收请求数据响应数据入门案例
JSON数据交互接收请求数据响应数据入门案例1 概述@RequestBody：将json、xml 等内容 转换 成Java对象。@ResponseBody：将Java对象 转换 成 json、xml等内容。2 前端发送ajax请求，都断获取json数据【前端发送ajax请求，后端通过VO自动获取数据打印】前端代码 <%@ page contentType="text/html;charset=UTF-8" language="java" %><html><h
2021-10-13 21:09:17
293
原创 DateNode有何作用
1. 负责管理它所在结点上存储的数据的读写，及存储数据2. 向Namenode结点报告DataNode节点的状态3. 通过流水线复制实现三份数据副本
2020-10-14 21:08:06
1887
原创 NameNode有何作用
1. 维护目录树，维护命名空间。2. 负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据3. 管理Datanode结点的状态报告
2020-10-14 21:06:34
1726
原创 关于数据副本的存放机制
第一个副本在客户端所在的节点（客户端也是集群内的节点），若客户端 在集群外，那么根据一定的计算规则选一个节点。第二份副本，在与第一份相同机柜，且不在同一个服务器的节点上。第三份与第一份第二份不在同一个机柜，且逻辑距离（网络拓扑）最近的 机柜选择一个节点存储。...
2020-10-14 20:57:19
658
原创 HDFS如何存储数据
以数据块的方式存储数据。默认一个数据块128M，该数值可以修改。注意：这里的128仅仅是切分数据的阈值。一个大的数据被切分成多个小的128M的数据块，分别存储在集群多个节点的不同位置。数据副本机制数据副本默认是3份。一个数据存储到HDFS后，数据自动复制两份，共三份（三分相同的数据-数据冗余）...
2020-10-14 20:55:21
2066
原创 传统数据与大数据的差别
文章目录一、传统数据与大数据的对比二、传统数据与大数据处理方式对比一、传统数据与大数据的对比二、传统数据与大数据处理方式对比
2020-10-12 18:27:49
3267
原创 关于HDFS的高级命令
文章目录前言一、文件夹内文件数量限制二、文件夹内存储空间大小限制三、进入退出安全模式前言掌握HDFS对目录如何进行限制。提示：以下是本篇文章正文内容，下面案例可供参考一、文件夹内文件数量限制⦁置数量：hdfs dfsadmin -setQuota 2 /aa⦁取消设置：hdfs dfsadmin -clrQuota /aa二、文件夹内存储空间大小限制⦁ 设置大小：hdfs dfsadmin -setSpaceQuota 100M /aa⦁ 取消设置
2020-10-12 18:23:30
1915
原创 HDFS关于shell命令的操作
文章目录一、HDFS文件夹的增删改查二、HDFS文件的增删改查一、HDFS文件夹的增删改查 上传 hadoop fs -mkdir /aa 修改 hadoop fs -mv /aa /bb 删除 hdfs dfs -rmr /bb 查询 hdfs dfs -ls /二、HDFS文件的增删改查 上传 hadoop fs -put abc.txt / 修改 hadoop fs -mv /abc.txt /abcdef.txt 删除 hd
2020-10-12 18:11:37
1706
原创 数据校验（数据完整性）
数据校验数据第一次写入成功后，会进行数据校验，获得校验和。数据读取前，对数据进行校验，获得校验和，计算得到的校验和与第一次上传后的校验和进行对比。两个校验和相同表示数据相同，可以提读取数据两个校验和不相同表示数据不相同，节点去其他节点读取数据节点周期进行校验和计算，防止数据丢失。...
2020-10-12 18:02:48
6271
原创 HDFS数据读取的步骤
HDFS读取数据的流程客户端通过调用FileSystem对象的open()来读取希望打开的文件。Client向NameNode发起RPC请求，来确定请求文件block所在的位置；NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址； 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠
2020-10-12 17:40:06
2077
原创 HDFS数据写入的步骤
HDFS写入数据的流程client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；client请求第一个block该传输到哪些DataNode服务器上；NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后
2020-10-12 17:36:10
2064
原创 hadoop机架感知配置——HDFS
编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值进入到/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop的位置编辑core-site.xml配置文件，将下面的代码添加到文件的末尾并保存topology.script.file.name/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py最后进入到/export/servers/hadoop-
2020-10-08 18:26:32
5533
原创 hadoop里nameNode和dateNode的ID不一致解决办法
文章目录前言解决方案第一种：根据日志找到clusterID第二种：删除所有节点里的临时文件总结前言namenode启动了，但是datanode没有启动，查看日志文件logs的datanode查看到warn警告，仔细阅读后发现日志报错原因是2020-10-08 04:15:46,298 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/export/se
2020-10-07 23:07:16
47102
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人