bigdata_redis缓存数据库

一丶介绍redis

      是一个高性能的key-value内存型数据库。

      特点：

支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候自动再次加载进行使用。

既支持key-value类型的数据操作，还提供list，set，zset，hash等数据结构的存储。

支持数据的主从备份，采用master-slave模式的主从备份。

新版3.x也支持分布式布署模式，真正实现了数据块的分布式存储与响应。

性能极高–Redis读的速度是11万次/s,写的速度是8万次/s。

所有操作均为原子性操作

丰富的实 用特性，如订阅-发布模式，生产者消费者模式，key过期等常用易用的模式。

三种运行模式

单机布署

主备布署

分布式布署

二丶安装redis

1. windows安装

          选择2.8.*版本

下载完成后，直接解压即可投入使用。

通过配置文件启动服务：

1. 修改redis.windows.conf中的maxheap参数值为268435456
2. 通过加载配置文件启动redis服务

  redis-server.exe redis.windows.conf

redis客户端链接redis服务器

cmd进入对应目录后，找到服务命令redis-cli.exe.

直接运行即可，默认链接127.0.0.1IP地址下的6379端口

2.linux安装

通过浏览器直接打开，或者wget均可。

下载完成后，直接解压为源码包，需要编译后方可使用。

编译过程与server运行

tar -xzvf redis-2.8.24.tar.gz

cd redis-2.8.24

make    //源代码编译

cd src   //进入编译完成后的执行文件所在的主目录

./redis-server   //按默认参数起动redis-server

或者./redis-server ../redis.conf   //按指定的参数文件来起动redis-server，参数文件配置等同windows的conf文件

1. 客户端链接到server
2. cd src目录
3. ./redis-cli    //按默认ip和port链接，即127.0.0.1和6379
4. 或者./redis-cli -h 127.0.0.1 -p 6379

三丶redis架构设计

1. redis架构设计说明
2. 单进程单线程模型的KV数据库
3. 多线程处理可能涉及到锁
4. 多线程处理会涉及到线程切换而消耗CPU
5. 无法发挥多核CPU性能，不过可以通过在单机开多个Redis实例来完善
   1. 完全基于内存，但提供数据持久化功能。
   2. 数据结构简单，对数据操作也简单
   3. 使用多路 I/O 复用模型（网络io事件模型-epoll）
      1. 网络IO都是通过Socket实现，Server在某一个端口持续监听，客户端通过Socket（IP+Port）与服务器建立连接（ServerSocket.accept），成功建立连接之后，就可以使用Socket中封装的InputStream和OutputStream进行IO交互。针对每个客户端，Server都会创建一个新线程专门用于处理该客户端的IO请求。
      2. 默认情况下，网络IO是阻塞模式，即服务器线程在数据到来之前处于【阻塞】状态，等到数据到达，会自动唤醒服务器线程，着手进行处理。阻塞模式下，一个线程只能处理一个流的IO事件
      3. 5种网络IO模型
         1. 阻塞IO、非阻塞IO、IO复用模型、信号驱动IO、异步IO模型
         2. IO复用模型中包括：select模式、poll模式、epoll模式（event poll模式），其中epoll是select和poll模型的升级优化，使得一个线程可以最大限度、最高效的监听和响应更多路客户端的IO请求。

四丶redis常用命令

1. key常用命令

1	set key value	设置kv对
2	get key	通过给定key获取其对应的value
3	del key	删除指定的key
5	exists key	检查给定 key 是否存在
6	expire key seconds	给指定key设置失效时间
7	expireat key timestamp	EXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。 不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix timestamp)
8	pexpire key milliseconds	设置 key 的过期时间以毫秒计

12	ttl key	以秒为单位，返回给定 key 的剩余生存时间(TTL, time to live)
13	randomkey	从当前数据库中随机返回一个 key

2.hash结构操作常用命令

1	hset key field value	将哈希表 key 中的字段 field 的值设为 value
2	hsetnx key field value	只有在字段 field 不存在时，设置哈希表字段的值
4	hdel key field1 [field2]	删除一个或多个哈希表字段

3.列表(List)结构操作常用命令

1	lpush key value1 [value2]	将一个或多个值插入到列表头部
2	lpushx key value	将一个值插入到已存在的列表头部
3	lrange key start stop	获取列表指定范围内的元素，用元素所在的下标值来作为范转围的上下限，如 lrange list1 0 10
4	rpop key	移除并获取列表最后一个元素
5	rpush key value1 [value2]	在列表中添加一个或多个值
6	rpushx key value	为已存在的列表添加值
7	llen key	获取列表长度
8	lpop key	移除并获取列表的第一个元素
9	blpop key1 [key2 ] timeout	移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
10	brpop key1 [key2 ] timeout	移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。

4.集合Set结构操作常用命令

1	sadd key member1 [member2]	向集合添加一个或多个成员
2	srem key member1 [member2]	移除集合中一个或多个成员
3	sismember key member	判断 member 元素是否是集合 key 的成员

5.redis连接服务器操作

1	auth password	验证密码是否正确
2	echo message	打印字符串
3	ping	查看服务是否运行,返回pong代表正常
4	quit	关闭当前连接
5	select index	切换到指定的数据库，默认redis有16个数据库，默认选择索引号为0的数据库

6.redis服务器操作

5	dbsize	返回当前数据库的 key 的数量
6	flushall	删除所有数据库的所有key
7	flushdb	删除当前数据库的所有key
8	lastsave	返回最近一次 redis 成功将数据保存到磁盘上的时间，以 unix 时间戳格式表示
9	monitor	实时打印出 redis 服务器接收到的命令，调试用

7.基数统计结构HyperLogLog（基数即为去重）

1. HyperLogLog结构，是用来做基数统计的结构，与之对应的算法为HyperLogLog算法，是概率计算基数的一种算法。
2. 在不要求绝对准确的场景下，比如1%标准误差的范围内，可以用该结构。
3. 其显著优点是，输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、且很小的。
4. 每个 HyperLogLog 键只需要 12 KB 内存，即可计算近 2^64 个不同元素的基数。其所占存储空间并不是线性增长的。
5. 只计算基数，并不存储数据本身，故不能返回元素本身。

序号	命令	作用
1	pfadd key element [element ...]	添加指定元素到 HyperLogLog 中
2	pfcount key [key ...]	返回给定 HyperLogLog 的基数估算值
3	pfmerge destkey sourcekey [sourcekey ...]	将多个 HyperLogLog 合并为一个 HyperLogLog

五丶java代码应用

1.配置：

<project 
xmlns="http://maven.apache.org/POM/4.0.0" 
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>
   <groupId>com.tl.job002</groupId>
   <artifactId>RedisTest</artifactId>
   <version>0.0.1-SNAPSHOT</version>
   <!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像方式，效果雷同 -->
   <repositories>
      <repository>
        <id>nexus-aliyun</id>
        <name>Nexus aliyun</name>
         <url>http://maven.aliyun.com/nexus/content/groups/public</url>
      </repository>
   </repositories>
   <dependencies>
      <dependency>
         <groupId>redis.clients</groupId>
         <artifactId>jedis</artifactId>
        <version>2.8.2</version>
      </dependency>
   </dependencies>
   <build>
      <finalName>RedisTest</finalName>
      <plugins>
        <plugin>
           <artifactId>maven-compiler-plugin</artifactId>
           <version>2.3.2</version>
           <configuration>
              <source>1.7</source>
              <target>1.7</target>
              <encoding>UTF-8</encoding>
           </configuration>
        </plugin>
      </plugins>
   </build>
</project>

2.测试：

2.1测试1：

package com.tl.utils;

import redis.clients.jedis.Jedis;

public class RedisUtil {

   public static void main(String[] args) {

      // 连接本地的 Redis 服务

      Jedis jedis = new Jedis("localhost", 6379);

      // 查看服务是否运行

      System.out.println("服务正在运行: " + jedis.ping());

   }

}

2.2测试2：

package com.tl.utils;

import redis.clients.jedis.Jedis;

public class RedisUtil {

   public static void main(String[] args) {

      // 连接本地的 Redis 服务

      Jedis jedis = new Jedis("localhost", 6379);

      jedis.set("jedis_k1", "jedis_v1");

      System.out.println("jedis_k1=:"+ jedis.get("jedis_k1"));

   }

}

3.工具类化

import redis.clients.jedis.Jedis;
public class RedisUtil {
	private Jedis jedis;
	public Jedis getJedis() {
		return jedis;
	}
	public void setJedis(Jedis jedis) {
		this.jedis = jedis;
	}
	public RedisUtil(String host, int port, String password) {
		jedis = new Jedis(host, port);
		jedis.auth(password);
	}
	public void set(String key, String value) {
		jedis.set(key, value);
	}
	public String getString(String key) {
		return jedis.get(key);
	}
public void close() {
		this.jedis.close();
	}
	public static void main(String[] args) {
		// 连接本地的 Redis 服务
		RedisUtil redisUtil = new RedisUtil("localhost", 6379, "tianliangedu");
		redisUtil.set("jedis_k1", "jedis_v1");
		System.out.println("jedis_k1=:" + redisUtil.getString("jedis_k1"));
	}
}

4.应用场景：

目标：加速客户端访问速度或其它要加速提效的功能点

1. 缓存一些静态数据
2. 缓存一些不经常变化数据
3. 缓存一些高耗时计算的数据
4. 缓存一些预计算的数据
5. 充当中间件，做系统模块或子系统之间的解耦使用