PostgreSQL use redis_fdw connect to Redis

最新推荐文章于 2023-02-15 00:24:38 发布
最新推荐文章于 2023-02-15 00:24:38 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 数据库
首先要感谢Dave先生的贡献才有了redis_fdw。Dave贡献了两个FDW模块，mysql_fdw和redis_fdw分别用于PostgreSQL9.1连接到MySQL和Redis。
接下来通过redis_fdw来测试一下PostgreSQL 9.1是怎么连接到Redis的。
首先到 http://redis.io下载一个redis2.4.1的稳定版源码。
安装参考README 


  
  

   
   [root@digoal redis-2.4.1]# tar -zxvf redis-2.4.1.tar.gz
  
  

  
  

   
   [root@digoal redis-2.4.1]# cd redis-2.4.1
  
  

  
  

   
   [root@digoal redis-2.4.1]# make
  
  

  
  

   
   [root@digoal redis-2.4.1]# vi redis.conf
加上密码校验，并放置后台运行，用作测试其他参数不修改了。 

  
  

   
   daemonize yes
  
  

  
  

   
   requirepass DIGOAL
启动redis 
[root@digoal redis-2.4.1]# src/redis-server ./redis.conf 
确认已启动 

  
  

   
   [root@digoal redis-2.4.1]# netstat -anp|grep 6379
  
  

  
  

   
   tcp        0      0 0.0.0.0:6379                0.0.0.0:*                   LISTEN      26647/redis-server 
接下来在另一台PostgreSQL数据库服务器上配置redis_fdw.
首先是下载redis_fdw  http://www.pgxn.org/user/pgsnake
解压到postgresql源码包的 postgresql-9.1.0/contrib/ 目录
然后把redis-2.4.1/deps/hiredis 目录拷贝到 postgresql-9.1.0/contrib/redis_fdw-1.0.0
接下来编译hiredis 

  
  

   
   cd hiredis
  
  

  
  

   
   make
  
  

  
  

   
   make install
确认安装OK之后。编译redis_fdw 

  
  

   
   [root@digoal redis_fdw-1.0.0]# . /home/postgres/.bash_profile
  
  

  
  

   
   (导入两个环境变量 PATH, LD_LIBRARY_PATH)
  
  

  
  

   
   PATH和LD_LIBRARY_PATH如下 : 
export PGHOME=/opt/pgsql91
export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib
export PATH=$PGHOME/bin:$PATH:.
  
  

  
  

   
   

  
  

  
  

   
   [root@digoal redis_fdw-1.0.0]# USE_PGXS=1 make clean
  
  

  
  

   
   [root@digoal redis_fdw-1.0.0]# USE_PGXS=1 make
  
  

  
  

   
   [root@digoal redis_fdw-1.0.0]# USE_PGXS=1 make install
  
  

  
  

   
   

  
  

  
  

   
   -- 以下步骤可能可以省略, 如果没有才需要拷贝.
  
  

  
  

   
   [root@digoal redis_fdw-1.0.0]# cp redis_fdw.so /opt/pgsql/lib/
  
  

  
  

   
   [root@digoal redis_fdw-1.0.0]# cp redis_fdw--1.0.sql /opt/pgsql/share/extension/
  
  

  
  

   
   [root@digoal redis_fdw-1.0.0]# cp redis_fdw.control /opt/pgsql/share/extension/

OK，至此就算安装好了。

接下来体验一下。
先到PostgreSQL数据库里面创建redis_fdw这个extension .  

  
  

   
   psql -h 127.0.0.1 digoal postgres
  
  

  
  

   
   psql (9.1.0)
  
  

  
  

   
   Type "help" for help.
  
  

  
  

   
   digoal=# create extension redis_fdw;

然后到redis服务端插入一些数据。 

  
  

   
   vi ins.sh
  
  

  
  

   
   

    
     set visits:digoal1:totals                   1
   
   

   
   

    
     set visits:digoal2:totals                   2
   
   

   
   

    
     set visits:digoal3:totals                   3
   
   

   
   

    
     set visits:digoal4:totals                   4
   
   

   
   

    
     set visits:digoal5:totals                   5
   
   

   
   

    
     set visits:digoal6:totals                   6
   
   

   
   

    
     set visits:digoal7:totals                   7
   
   

   
   

    
     set visits:digoal8:totals                   8
   
   

   
   

    
     set visits:digoal9:totals                   9
   
   

   
   

    
     set visits:digoal10:totals                 10
   
   

   
   

    
     set visits:digoal11:totals                 11
   
   

   
   

    
     set visits:digoal12:totals                 12
   
   

   
   

    
     set visits:digoal13:totals                 13
   
   

   
   

    
     set visits:digoal14:totals                 14
   
   

   
   

    
     set visits:digoal15:totals                 15
   
   

   
   

    
     set visits:digoal16:totals                 16
   
   

   
   

    
     set visits:digoal17:totals                 17
   
   

   
   

    
     set visits:digoal18:totals                 18
   
   

   
   

    
     set visits:digoal19:totals                 19
   
   

   
   

    
     set visits:digoal20:totals                 20
   
   

   
   

    
     set visits:digoal21:totals                 21
   
   

   
   

    
     set visits:digoal22:totals                 22
   
   

   
   

    
     set visits:digoal23:totals                 23
   
   

   
   

    
     set visits:digoal24:totals                 24
   
   

   
   

    
     set visits:digoal25:totals                 25
   
   

   
   

    
     set visits:digoal26:totals                 26
   
   

   
   

    
     set visits:digoal27:totals                 27
   
   

   
   

    
     set visits:digoal28:totals                 28
   
   

   
   

    
     set visits:digoal29:totals                 29
   
   

   
   

    
     set visits:digoal30:totals                 30
   
   

   
   

    
     set visits:digoal31:totals                 31
   
   

   
   

    
     set visits:digoal32:totals                 32
   
   

   
   

    
     set visits:digoal33:totals                 33
   
   

   
   

    
     set visits:digoal34:totals                 34
   
   

   
   

    
     set visits:digoal35:totals                 35
   
   

   
   

    
     set visits:digoal36:totals                 36
   
   

   
   

    
     set visits:digoal37:totals                 37
   
   

   
   

    
     set visits:digoal38:totals                 38
   
   

   
   

    
     set visits:digoal39:totals                 39
   
   

   
   

    
     set visits:digoal40:totals                 40
   
   

   
   

    
     set visits:digoal41:totals                 41
   
   

   
   

    
     set visits:digoal42:totals                 42
   
   

   
   

    
     set visits:digoal43:totals                 43
   
   

   
   

    
     set visits:digoal44:totals                 44
   
   

   
   

    
     set visits:digoal45:totals                 45
   
   

   
   

    
     set visits:digoal46:totals                 46
   
   

   
   

    
     set visits:digoal47:totals                 47
   
   

   
   

    
     set visits:digoal48:totals                 48
   
   

   
   

    
     set visits:digoal49:totals                 49
   
   

   
   

    
     set visits:digoal50:totals                 50
   
   

   
   

    
     set visits:digoal51:totals                 51
   
   

   
   

    
     set visits:digoal52:totals                 52
   
   

   
   

    
     set visits:digoal53:totals                 53
   
   

   
   

    
     set visits:digoal54:totals                 54
   
   

   
   

    
     set visits:digoal55:totals                 55
   
   

   
   

    
     set visits:digoal56:totals                 56
   
   

   
   

    
     set visits:digoal57:totals                 57
   
   

   
   

    
     set visits:digoal58:totals                 58
   
   

   
   

    
     set visits:digoal59:totals                 59
   
   

   
   

    
     set visits:digoal60:totals                 60
   
   

   
   

    
     set visits:digoal61:totals                 61
   
   

   
   

    
     set visits:digoal62:totals                 62
   
   

   
   

    
     set visits:digoal63:totals                 63
   
   

   
   

    
     set visits:digoal64:totals                 64
   
   

   
   

    
     set visits:digoal65:totals                 65
   
   

   
   

    
     set visits:digoal66:totals                 66
   
   

   
   

    
     set visits:digoal67:totals                 67
   
   

   
   

    
     set visits:digoal68:totals                 68
   
   

   
   

    
     set visits:digoal69:totals                 69
   
   

   
   

    
     set visits:digoal70:totals                 70
   
   

   
   

    
     set visits:digoal71:totals                 71
   
   

   
   

    
     set visits:digoal72:totals                 72
   
   

   
   

    
     set visits:digoal73:totals                 73
   
   

   
   

    
     set visits:digoal74:totals                 74
   
   

   
   

    
     set visits:digoal75:totals                 75
   
   

   
   

    
     set visits:digoal76:totals                 76
   
   

   
   

    
     set visits:digoal77:totals                 77
   
   

   
   

    
     set visits:digoal78:totals                 78
   
   

   
   

    
     set visits:digoal79:totals                 79
   
   

   
   

    
     set visits:digoal80:totals                 80
   
   

   
   

    
     set visits:digoal81:totals                 81
   
   

   
   

    
     set visits:digoal82:totals                 82
   
   

   
   

    
     set visits:digoal83:totals                 83
   
   

   
   

    
     set visits:digoal84:totals                 84
   
   

   
   

    
     set visits:digoal85:totals                 85
   
   

   
   

    
     set visits:digoal86:totals                 86
   
   

   
   

    
     set visits:digoal87:totals                 87
   
   

   
   

    
     set visits:digoal88:totals                 88
   
   

   
   

    
     set visits:digoal89:totals                 89
   
   

   
   

    
     set visits:digoal90:totals                 90
   
   

   
   

    
     set visits:digoal91:totals                 91
   
   

   
   

    
     set visits:digoal92:totals                 92
   
   

   
   

    
     set visits:digoal93:totals                 93
   
   

   
   

    
     set visits:digoal94:totals                 94
   
   

   
   

    
     set visits:digoal95:totals                 95
   
   

   
   

    
     set visits:digoal96:totals                 96
   
   

   
   

    
     set visits:digoal97:totals                 97
   
   

   
   

    
     set visits:digoal98:totals                 98
   
   

   
   

    
     set visits:digoal99:totals                 99
   
   

   
   

    
     set visits:digoal100:totals               100
导入到库0和库1 

  
  

   
   [root@digoal src]# cat ./ins.sh|./redis-cli -h 127.0.0.1 -p 6379 -a DIGOAL -n 0
  
  

  
  

   
   [root@digoal src]# cat ./ins.sh|./redis-cli -h 127.0.0.1 -p 6379 -a DIGOAL -n 1

接下来在PostgreSQL数据库创建连接REDIS的外部表： 

  
  

   
   

    
    digoal=# CREATE SERVER redis_server1                            
   
   

   
   

    
    FOREIGN DATA WRAPPER redis_fdw 
   
   

   
   

    
    OPTIONS (address '172.xxx.xxx.xxx', port '6379');
   
   

  
  

  
  

   
   

    
    digoal=# CREATE USER MAPPING FOR digoal                        
   
   

   
   

    
    SERVER redis_server1           
   
   

   
   

    
    OPTIONS (password 'DIGOAL');
   
   

   
   

    
    CREATE USER MAPPING
   
   

  
  

  
  

   
   

    
    digoal=# grant usage on FOREIGN server redis_server1 to digoal;
   
   

   
   

    
    GRANT
   
   

  
  

  
  

   
   

    
    digoal=> CREATE FOREIGN TABLE redis_db0 (key text, value text) 
   
   

   
   

    
    SERVER redis_server1
   
   

   
   

    
    OPTIONS (database '0');
   
   

   
   

    
    CREATE FOREIGN TABLE
   
   

   
   

    
    digoal=> CREATE FOREIGN TABLE redis_db1 (key text, value text) 
   
   

   
   

    
    SERVER redis_server1
   
   

   
   

    
    OPTIONS (database '1');
   
   

   
   

    
    CREATE FOREIGN TABLE
   
   

  
  

  
  

   
   

    
    digoal=> select * from redis_db0 limit 5;
   
   

   
   

    
              key           | value 
   
   

   
   

    
    ------------------------+-------
   
   

   
   

    
     visits:digoal13:totals | 13
   
   

   
   

    
     visits:digoal23:totals | 23
   
   

   
   

    
     visits:digoal33:totals | 33
   
   

   
   

    
     visits:digoal43:totals | 43
   
   

   
   

    
     visits:digoal17:totals | 17
   
   

   
   

    
    (5 rows)
   
   

   
   

    
    

   
   

   
   

    
    digoal=> select * from redis_db1 limit 5;
   
   

   
   

    
              key           | value 
   
   

   
   

    
    ------------------------+-------
   
   

   
   

    
     visits:digoal13:totals | 13
   
   

   
   

    
     visits:digoal23:totals | 23
   
   

   
   

    
     visits:digoal33:totals | 33
   
   

   
   

    
     visits:digoal43:totals | 43
   
   

   
   

    
     visits:digoal17:totals | 17
   
   

   
   

    
    (5 rows)
   
   

   
   

    
    

   
   

   
   

    
    digoal=> select count(*) from redis_db0;
   
   

   
   

    
     count 
   
   

   
   

    
    -------
   
   

   
   

    
       100
   
   

   
   

    
    (1 row)
   
   

   
   

    
    

   
   

   
   

    
    digoal=> select count(*) from redis_db1;
   
   

   
   

    
     count 
   
   

   
   

    
    -------
   
   

   
   

    
       100
   
   

   
   

    
    (1 row)


注意事项请参考redis_fdw README.

【参考】

【其他FDW】
1. hive
2. PostgreSQL Foreign Table - pgsql_fdw
3. PostgreSQL Foreign Table - oracle_fdw 1
4. PostgreSQL Foreign Table - oracle_fdw 2
5. PostgreSQL Foreign Table - oracle_fdw 3
6. PostgreSQL Foreign Table - file_fdw
7. PostgreSQL Foreign Table - redis_fdw
8. PostgreSQL Foreign Table - mysql_fdw 1
9. PostgreSQL Foreign Table - mysql_fdw 2


转帖：http://blog.163.com/digoal@126/blog/static/16387704020119181188247/
Mirage520
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
postgresql数据快速倒入redis
06-23
采用postgresql C++接口 查询制定数据库表 快速导入redis
PostgreSQL FDW
qq_37432174的博客
05-30 1863
pg .11开始，可以用下面语句导入表定义--导入全表 IMPORT FOREIGN SCHEMA foreign_films FROM SERVER film_server INTO films;--只导入部分字段 IMPORT FOREIGN SCHEMA foreign_films LIMIT TO(id , name) FROM SERVER film_server INTO films;
PostgreSQL+REDIS_FDW详细记录踩坑过程之远程操作redis（三）
qq_36934544的博客
09-27 4885
准备：  redis 以及pg都开启并都能远程访问  1.redis  开启远程访问  修改Redis配置文件/etc/redis/redis.conf，找到bind那行配置： # bind 127.0.0.1 2.去掉#注释并改为： bind 0.0.0.0 3.指定配置文件然后重启Redis服务即可。 PG远程访问开启 ：https://mp.csdn.net/posted...
ArrayList Vector
weixin_42959073的博客
11-01 200
目录ArrayList理解方法ArrayList & VectorArray & ArrayList & List ArrayList ArrayList用法总结 理解 实现 Cloneable 接口，即覆盖了函数clone()，能被克隆 实现 java.io.Serializable 接口，即ArrayList支持序列化，能通过序列化去传输 方法 见 collection ArrayList & Vector 相同：都是 list 的实现类，基于数组的实现
redis_fdw使用简介
seapeak007的博客
01-11 4829
转载地址：http://coolcodes.tech/tech/d0c2d2254836b3ebb92c769e576028a 建议大家去原始地址查看，原始地址还有很多作者的原创博文，值得推荐 Redis FDW(Foreign Data Wrapper)为Dave&Andrew实现的Postgresql的FDW扩展插件，可以直接在postgresql里访问redis数据库
redis_fdw-dev:redis_fdw 的可写表开发分支
06-02
Redis FDW for PostgreSQL 9.1+ 这个 PostgreSQL 扩展为 Redis 键/值数据库实现了一个外部数据包装器 (FDW)： : 这段代码最初是实验性的，主要是作为 Dave 的一个宠物项目，用于试验和了解 PostgreSQL 中的 FDW。...
rw_redis_fdw
05-22
请注意，输出FDW模块称为redis_fdw ，即使此存储库称为rw_redis_fdw，也不要与混淆（后者被用作表架构的基础，但与完全不同的代码），以使现有用户可以迁移到此存储库。 此处的说明仅引用此存储库。 redis_fdw ...
PostgreSql连接任意数据库JDBC_FDW
07-13
个人完整的源码安装步骤，希望对你有用。亲测可用。Centos6.2下以JDBC驱动连接任意数据库实现读操作
clickhousedb_fdw:PostgreSQL 的 ClickHouse 外部数据包装器
05-29
文档支持的 PostgreSQL 版本clickhousedb_fdw应该可以在最新版本的 PostgreSQL 上运行，但只在这些 PostgreSQL 版本上测试过： 分配版本支持的PostgreSQL版本 < 11 :cross_mark: PostgreSQL版本11 :check_mark: ...
duckdb_fdw:DuckDB PostgreSQL外部数据包装器
05-25
DuckDB PostgreSQL外部数据包装器 这个PostgreSQL扩展是的Foreign Data Wrapper。 当前版本可与PostgreSQL 9.6、10、11、12和13一起使用。 安装 1.安装DuckDB库 您可以并构建DuckDB。 git clone ...
PostgreSQL 9.5 连接redis及其使用
weixin_34174422的博客
06-30 429
今天有部分数据被同事放到redis上面了，需要同步过来。发现pg有连接redis插件，就参考德哥的文章（https://yq.aliyun.com/articles/14609）安装了一下，不过也遇到一些原文没有遇到问题。下面是我的安装过程： 首先redis_fdw有不同的branch，要根据自己的pg版本下载不同的branch 这里下载的是 redi...
postgresql FDW概念、用法与原理小结
Hehuyi_In的博客
01-19 9579
FDW (foreign-data wrapper，外部数据包装器)，可以让我们在PG中使用SQL查询极为丰富的外部数据
Redis和postgresql的简单搭建(windows)
不会写后端的前端不是一个好运维。
04-11 4388
Redis和postgresql的简单搭建(windows)
PostgreSQL+REDIS_FDW详细记录踩坑过程（一）
qq_36934544的博客
09-26 3200
案例环境： 虚拟机：CenterOS 7.0.1406（注意：centerOS自带postgres9.2的版本安装包） PG版本：postgresql-10.5-1-linux-x64-binaries.tar.gz redis_fwd版本：redis_fdw-REL_10_STABLE.zip redis版本：redis-4.0.11.tar.gz Hiredis （这里最好直接拷贝r...
postgresql 配置redis_ubuntu下安装postgresql扩展redis_fdw
weixin_39751453的博客
12-21 354
fdw 地址：https://github.com/pg-redis-fdw/redis_fdw/tree/REL9_3_STABLE.zip 这里注意选择分支，不同的版本对应不同的分支首先安装postgresqlapt-get install postgresql postgresql-contrib postgresql-server-dev-all先安装redis_fdw的hiredis...
PostgreSQL 与基友们的故事之 - Redis (无限缓存,实时标签...)
神谕梦醒
01-02 5114
摘要： 在PostgreSQL中直接读写REDIS。好处多多，可以降低应用层设计的复杂度，减少交互次数，降低RT。同时还能使用redis作为PostgreSQL的二级缓存， 提升数据库的性能。PostgreSQL的好基友还真多，redis也是其中一个。 下面简单的介绍一下redis_fdw插件的安装和 在PostgreSQL中直接读写redis。 好处多多，可以降低应用层设计的复杂度，
redis_fdw for postgres
weixin_39685022的博客
10-21 155
postgresql installed. install hiredis sudo apt-get install libhiredis-dev install redis-fdw: git clone https://github.com/pg-redis-fdw/redis_fdw.git cd redis_fdw/ git branch git branch -a git checkout --track origin/REL9_4_STABLE git branch make USE_PGXS=.
PostgresQL FDW 源码分析之总结
davidzwb的博客
07-02 2177
1. FDW 先在 GetForeignRelSize() 中通过本地或向 remote 端查询的方式，得到了对 SQL 语句基本扫描方式的成本估算； 2. 然后在 postgresGetForeignPaths() 计算出各种情况的 plan path，包括基础扫描方法，和各种 join 方法，path 中带有对这种 plan 处理方式的描述和成本估算； 3. 在从多个 plan path 中选出一个 best path 后，在 postgresGetForeignPlan() 中，从这个 path 中恢
一图搞懂 PG流复制的各种LAG
Hehuyi_In的博客
02-15 2396
关于write_lag,flush_lag,replay_lag 以及 send_lsn,write_lsn,flush_lsn,replay_lsn
postgresql 使用odbc_fdw连接 sqlserver
最新发布
06-07
要在PostgreSQL中使用ODBC连接SQL Server，可以使用odbc_fdw扩展。以下是连接SQL Server的步骤： 1. 安装odbc_fdw扩展： ``` CREATE EXTENSION odbc_fdw; ``` 2. 创建服务器： ``` CREATE SERVER sqlserver FOREIGN DATA WRAPPER odbc_fdw OPTIONS (dsn 'dsn_name'); ``` 其中，dsn_name是ODBC数据源的名称，可以在/etc/odbc.ini中找到。 3. 创建用户映射： ``` CREATE USER MAPPING FOR postgres SERVER sqlserver OPTIONS (username 'username', password 'password'); ``` 其中，username和password是连接SQL Server的用户名和密码。 4. 创建外部表： ``` CREATE FOREIGN TABLE tablename (column1 datatype, column2 datatype, ...) SERVER sqlserver OPTIONS (table_name 'tablename'); ``` 其中，tablename是要连接的SQL Server表的名称。 现在可以使用SQL语句查询该表： ``` SELECT * FROM tablename; ``` 需要注意的是，使用ODBC连接SQL Server可能需要安装额外的ODBC驱动程序。在Linux上，可以使用unixODBC作为ODBC驱动程序管理器，然后安装SQL Server的ODBC驱动程序。在Windows上，可以使用Microsoft ODBC驱动程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值