NoSql
文章平均质量分 71
非关系型数据库专栏
First_____
这个作者很懒,什么都没留下…
展开
-
ElasticSearch与Kibana在linux的下载安装及使用
ElasticSearch与Kibana在linux的下载安装及使用原创 2022-07-13 12:46:14 · 1082 阅读 · 0 评论 -
Redis05_应用问题
缓存穿透问题:特点: 查询太多新的没有的数据,多次请求mysql导致崩溃缓存击穿问题:特点: 多次请求热点key, 热点key正好过期,这个时候会大量请求直接访问数据库,导致崩溃缓存雪崩问题:特点: 同一时间内,导致大量key过期,同时请求数据库;分布式锁问题:问题描述: 单纯的Java API并不能提供分布式锁的能力,只能实现在同一机器上实现锁分布式锁主流的实现方案:基于数据库实现分布式锁基于缓存(Redis等)基于Zookeeper每一种分布式锁解决方案都原创 2021-09-06 00:56:35 · 137 阅读 · 0 评论 -
Redis04_持久化技术
RDB技术概述: 在指定的时间间隔内将内存中的数据集快照写入磁盘, 也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里执行过程:Redis会单独创建(fork)一个子进程来进行持久化;会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后原创 2021-09-04 19:28:03 · 80 阅读 · 0 评论 -
Redis03_事务
概述Redis事务的作用: 就是串联多个命令防止别的命令插队。事务之间的关系:主要分为两种模式: 组队中和执行先来看一下命令:mulit: 发起组队, 将进行的操作写入到事务中exec: 执行事务discard:终止事务的执行事务的错误的两种情况:组队中遇到错误, 全部都会执行失败执行中遇到错误, 其他的继续执行, 错误的就失败图解情况:为什么要有事务呢?答: 为了防止多个客户端对同一条数据作处理, 导致数据紊乱的问题事务冲突的问题怎么解决呢?解决的两种方式:悲原创 2021-09-03 21:39:02 · 91 阅读 · 0 评论 -
Redis01_安装使用
下载安装包wget http://download.redis.io/releases/redis-6.2.1.tar.gz解压到tar -zxvf redis-6.2.1.tar.gz -C /opt/module因为redis是c/c++ 编写,所以需要c的运行环境,安装tclyum -y install gcc-c++yum -y install tcl编译redis: 默认安装到/usr/local/bin下面主要命令: make: 编译 .原创 2021-09-02 23:42:05 · 88 阅读 · 0 评论 -
Redis02_数据类型及常用命令
Redis的相关知识:是非关系型数据库: (NOSQL, 主要用于缓存数据,一般情况下, myslq等数据库的并发支持量只有数百~ 1000, 为了单机数据库的高并发问题,就可以使用redis的缓存来解决)可以实现持久化使用单线程+多路IO复用的形式来操作文件对比: 串行处理: 多线程+锁: 单线程+ 多路IO复用常用命令对于Redis的键key的操作命令:keys * :查看当前库所有key (匹配:keys *1)exists key :判断某个key是否存在type原创 2021-09-02 23:26:49 · 107 阅读 · 0 评论 -
hbase案例
尚硅谷的谷粒微博:为了完成需求:对表进行设计:内容表: 主要是为了完成发布微博的数据进行存储,以rowkey=uid+"_"+时间戳设计,保证每个发布的文章都能确保唯一性关系表: 用户的关注与取消关注, 还有自己的粉丝, 考虑到列的数据不是很多, 这里使用的是添加关注或粉丝都会添加一个列推送表: 为每一个uid根据关注的人,推送最新的几篇文章,存储方式为多版本式存储...原创 2021-07-05 18:32:34 · 106 阅读 · 0 评论 -
HBase的优化
1.配置高可用1.1在conf下创建文件touch conf/backup-masters1.2在里面编辑要高可用的集群,然后分发scp -r root@hadoop202:backup-masters /opt/module/hbase/conf/2.预分区每一个 region 维护着 StartRow 与 EndRow,如果加入的数据符合某个 Region 维护的RowKey 范围,则该数据交给这个 Region 维护。那么依照这个原则,我们可以将数据所投放的分区提前大致的原创 2021-07-04 10:40:33 · 62 阅读 · 1 评论 -
hbase和hive交互
1.将hbase的相关jar包的软连接放入到hive的lib下ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jarln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jarln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/li原创 2021-07-03 21:04:09 · 152 阅读 · 1 评论 -
mr读取写入hbase配置
配置永久生效:先确定配置hbase和hadoop 的环境变量export HBASE_HOME=/opt/module/hbaseexport HADOOP_HOME=/opt/module/hadoop-3.1.3配置mr使用hbase依赖hadoop 2 .x在 hadoop-env.sh 中配置:(注意:在 for 循环之后配)export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*hadoop3原创 2021-06-30 17:51:57 · 164 阅读 · 0 评论 -
HBase原理流程
HBase架构介绍:zookeeper:可以帮助master分解压力,对数据的读写可以不经过master,但对regoin的分配还有其他一些元数据时, 是必须需要master的.Master: 主要用于对元数据的修改;HLog:对数据丶元数据等的操作, 都会先记录在HLog当中, 一般情况是不会访问的,但当机器故障,导致内存中的数据没有flush出去, 这时候就会读取Hlog恢复数据.regoin:对数据进行横向切割,切成一个个的regoin,便于数据的查找等store原创 2021-06-27 23:31:41 · 223 阅读 · 1 评论 -
Hbase基础概述使用
介绍:Hbase: Hadoop database 的简称,也就是基于Hadoop数据库,是一种NoSQL数据库,主要适用于海量明细数据(十亿、百亿)的随机实时查询,如日志明细、交易清单、轨迹行为等。Hive: Hive是Hadoop数据仓库,严格来说,不是数据库,主要是让开发人员能够通过SQL来计算和处理HDFS上的结构化数据,适用于离线的批量数据计算,通过元数据来描述Hdfs上的结构化文本数据,通俗点来说,就是定义一张表来描述HDFS上的结构化文本,包括各列数据名称,数据类型是什么等,方便我们处原创 2021-06-27 16:40:38 · 113 阅读 · 1 评论