18_nosql
自找苦吃,自得其乐
有时候,我们缺乏的不是道理,而是吃苦的勇气
展开
-
19.分布式锁
文章目录背景分布式锁应该有的功能分布式锁的实现方式:1.基于数据库的表分布式锁1.1.实现逻辑1.2.创建表1.3.锁住方法1.4.当方法执行完毕之后,想要释放锁的话,需要执行以下Sql:1.5.数据库实现方式存在的问题1.6.面对上面问题的解决办法1.6.使用数据库锁的优缺点2.基于redis缓存实现分布式锁2.1.基于SetNX实现:2.2.实现代码2.3.优缺点3.基于zookeeper的分...原创 2019-11-18 19:43:38 · 200 阅读 · 0 评论 -
redis过期策略
文章目录1.定期删除+惰性删除1.定期删除2.惰性策略2.内存淘汰机制7.1.volatile-lru7.2.allkeys-lru7.3.volatile-random7.4.allkeys-random7.5.volatile-ttl7.6.noeviction1.定期删除+惰性删除1.定期删除指的是 redis 默认是每隔 100ms 就随机抽取一些设置了过期时间的 key,检查其是否...原创 2019-07-21 13:58:03 · 4368 阅读 · 0 评论 -
hadoop配置文件详解、安装及相关操作
一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加:export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容: <!-- fs.default.name -这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口...转载 2014-09-07 18:49:52 · 559 阅读 · 0 评论 -
hadoop多次格式化后,导致datanode启动不了
hadoop namenode -format多次格式化后,datanode启动不了0.20.2版本解决方式:1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹中VERSION文件中的namespaceid;2、在两个数据节点修改上dfs.data.dir配置的路径...转载 2014-08-24 17:28:51 · 787 阅读 · 0 评论 -
centOS 安装 hadoop-2.2.0
准备工作:安装jdk1.下载hadoop:hadoop-2.2.0.tar.gz 网址:http://mirrors.cnnic.cn/apache/hadoop/common/2.把hadoop解压到文件夹/usr下面 [root@localhost usr]# tar -xzvf hadoop-2.2.0.tar.gz3.创建用户 hadoop [root@localhost ...原创 2014-04-07 18:32:02 · 1454 阅读 · 0 评论 -
redis lua io.lettuce.core.RedisException: java.lang.IllegalStateException
通过reids的自增来获取一个唯一的自增id是我们的一个需求场景,不过如果使用reids的多个命令需要处理事务,于是通过lua脚本获取自增id成为了我们的首选,不过在使用lua脚本过程中我们经常会遇到如下报错org.springframework.data.redis.RedisSystemException: Redis exception; nested exception is io....原创 2019-07-12 20:05:45 · 10607 阅读 · 5 评论 -
redis备份恢复
Redis 持久化之RDB和AOFRedis 有两种持久化方案,RDB (Redis DataBase)和 AOF (Append Only File)。如果你想快速了解和使用RDB和AOF,可以直接跳到文章底部看总结。本章节通过配置文件,触发快照的方式,恢复数据的操作,命令操作演示,优缺点来学习 Redis 的重点知识持久化。RDB 详解RDB 是 Redis 默认的持久化方案。在指定的时...转载 2019-07-14 22:48:52 · 1618 阅读 · 1 评论 -
redis 集群模式
文章目录1.主从复制1.主从复制原理:1.1.全量同步阶段1.2.增量同步阶段2.主从复制优缺点:2.1.优点:2.2缺点:2.哨兵模式1.哨兵的工作方式:2.哨兵模式的优缺点1.优点:2.缺点:3.Redis-Cluster集群工作方式:redis有三种集群方式:主从复制,哨兵模式和集群。1.主从复制1.主从复制原理:1.1.全量同步阶段从服务器连接主服务器,发送SYNC命令;...转载 2019-07-15 11:18:30 · 439 阅读 · 0 评论 -
redis 缓存穿透、雪崩和击穿原因和解决办法
文章目录1.缓存穿透解决办法:2.缓存雪崩解决办法:3.缓存击穿解决办法:Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时,它也带来了一些问题。其中,最要害的问题,就是数据的一致性问题,从严格意义上讲,这个问题无解。如果对数据的一致性要求很高,那么就不能使用缓存。另外的一些典型问题就是,缓存穿透、缓存雪崩和缓存击穿。目前,业界也都有比较流行的解决方案。本篇文...转载 2019-07-17 20:04:45 · 1751 阅读 · 0 评论 -
redis常用配置
文章目录1.bind2.port3.save4.dbfilename5.dir6.maxmemory7.maxmemory-policy7.1.volatile-lru7.2.allkeys-lru7.3.volatile-random7.4.allkeys-random7.5.volatile-ttl7.6.noeviction8.appendonly9.appendfsync10.daemon...原创 2019-07-21 13:55:07 · 536 阅读 · 0 评论 -
hive 执行常见错误
在执行Hive的命令行的时候,有时候会遇到这个报错: Error: java.io.IOException: Failed to create local dir in /tmp/data/spark_local_dir/blockmgr-97a25009-3758-4e24-a6c6-c72c6c817dc5/2b. (state=,code=0) 这个问题的原因是当前用户需要在 /tmp/...原创 2018-02-27 11:52:51 · 2860 阅读 · 0 评论 -
Hbase ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
这个问题通常有几种情况1.hadoop 集群的时间不同步# 安装时间同步软件yum install -y ntpdate# 同步时间ntpdate 1.cn.pool.ntp.org# 时间同步服务器服务器一: 1.cn.pool.ntp.org服务器二: 2.asia.pool.ntp.org服务器三: 3.asia.po...转载 2018-02-22 15:35:36 · 410 阅读 · 0 评论 -
centos 使用 redis
1.如果没有 安装 make,首先要安装 make命令http://blog.csdn.net/tengdazhang770960436/article/details/382968792.下载 redishttp://redis.googlecode.com/files/redis-2.0.4.tar.gz3.安装 redis$ tar xzf redis-2.0.4.tar.gz $ cd r...原创 2014-07-30 12:35:14 · 3462 阅读 · 1 评论 -
redis3.2.4 集群安装详细步骤
集群简介Redis集群部署文档(centos6.4系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下)192.168.66.2:6379192.168.66.2:6380192.168.66.3:6379192.168.66.3:6380192.168.66.4:637...原创 2016-06-22 11:23:49 · 1116 阅读 · 0 评论 -
redis 跨机器集群启动出错
部署Redis分布式集群时,出现了如下错误:moguang@ubsvr13:/opt/redis-unstable/src$ ./redis-trib.rb create 192.168.1.13:6379 192.168.1.15:6380 192.168.1.40:6381 Creating cluster Connecting to node...转载 2015-11-21 11:18:54 · 7750 阅读 · 1 评论 -
redis 动态添加移除节点
Redis集群添加节点1:首先把需要添加的节点启动cd /usr/local/cluster/mkdir 7006cp /usr/local/cluster/redis.conf /usr/local/cluster/7006/cd /usr/local/cluster/7006/vi redis.conf##修改redis.conf中的port参数的值为7006redis-server red...转载 2015-11-19 12:18:06 · 1628 阅读 · 0 评论 -
Redis Cluster学习笔记
Redis在3.0版正式引入了集群这个特性。Redis集群是一个分布式(distributed)、容错(fault-tolerant)的 Redis内存K/V服务, 集群可以使用的功能是普通单机 Redis 所能使用的功能的一个子集(subset),比如Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预...转载 2015-11-19 11:34:45 · 29041 阅读 · 3 评论 -
redis 主从复制
Redis 的主从复制配置非常容易,但我们先来了解一下它的一些特性。redis 使用异步复制。从 redis 2.8 开始,slave 也会周期性的告诉 master 现在的数据量。可能只是个机制,用途应该不大。一个 master 可以拥有多个 slave,废话,这也是业界的标配吧。slave 可以接收来自其他 slave 的连接。意思是不是就是说 slave 在接收其他的slave的连接之后成为...转载 2015-11-18 17:08:08 · 588 阅读 · 0 评论 -
Centos上用yum安装和卸载mongodb 3.0数据库
1、创建文件: /etc/yum.repos.d/MongoDB-org-3.0.repo2、输入下面内内容 [mongodb-org-3.0] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.0/x86_64/ gpgcheck=0 enab...转载 2017-06-22 17:36:32 · 4738 阅读 · 0 评论 -
redis 接口和命令机制
import java.util.List;import java.util.Map;import java.util.Set;/** * Common interface for sharded and non-sharded Jedis */public interface JedisCommands { /** * 存储数据到缓存中,若key已存在则覆盖 ...转载 2017-05-11 19:15:49 · 598 阅读 · 0 评论 -
ssdb
ssdb 安装:1.编译: make2.安装: 2.1.不指定安装目录 make install 默认被安装到:/usr/local/ 目录下、2.2.指定安装目录: make install PREFIX=/software/ssdbmake install 指定安装目录的方式是 PREFIX=/xxx/xxx3.使用:3.1.启动 ./ssdb-server...原创 2016-11-09 20:57:28 · 2687 阅读 · 0 评论 -
ssdb 安装:
1.编译:make2.安装2.1.不指定安装目录make install默认被安装到:/usr/local/ 目录下2.2.指定安装目录:make install PREFIX=/software/ssdbmake install 指定安装目录的方式是 PREFIX=/xxx/xxx3.使用3.1.启动./ssdb-server -d ssdb_8893.conf -s start3.2.关闭./...原创 2015-01-09 11:10:53 · 2989 阅读 · 1 评论 -
redis 安装教程
1.下载源码 2.解压和编译 3.拷贝 redis-2.8.3/src 目录下可执行文件到指定目录 4.设置 redis 后台启动、缓存数据:修改 redis.conf 文件 5.启动服务 6.测试服务 7.注意:make 和 make install 区别下载源码:地址解压和编译wget http://download.redis.io/releases/re...原创 2016-09-08 11:19:32 · 659 阅读 · 0 评论