Redis
sparkexpert
大数据挖掘技术(人工智能)的爱好者
展开
-
Ubuntu环境下Redis的安装与JAVA连接测试
最近由于想测试一下内存数据库的性能,于是找了KV类中最普遍的Redis进行测试。首先需要安装一下,将安装过程在此记录一下。1.下载最新版本代Redis (http://download.redis.io/releases/)2.1 下载下来的是压缩包,解压得到文件包redis-3.0,62.2 进入解压之后的目录,进行编译sudo make原创 2016-01-07 22:49:44 · 1361 阅读 · 0 评论 -
spark redis 中碰到java.net.SocketTimeoutException: Read timed out问题的解决
最近在写入redis的时候,程序跑着跑着会发现碰到这样的问题。redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out at redis.clients.util.RedisInputStream.ensureFill(RedisInp原创 2017-10-26 11:11:08 · 26682 阅读 · 0 评论 -
REDIS并行多线程写入时出现“如果基础流不可搜寻,则当读取缓冲区不为空时,将无法写入到 BufferedStream。”解决办法
在并行写入REDIS的时候,有时候会碰到这样的问题,即: System.NotSupportedException: 如果基础流不可搜寻,则当读取缓冲区不为空时,将无法写入到 BufferedStream。确保此 BufferedStream 下的流可搜寻或避免对此 BufferedStream 执行隔行读取和写入操作。 在 System.IO.BufferedStream.Clear原创 2016-12-01 15:28:32 · 2705 阅读 · 0 评论 -
千万级别以上的地图兴趣点(POI)的快速查找测试
近期,终于有点时间,将之前的地图兴趣点爬虫程序(http://blog.csdn.net/sparkexpert/article/details/51554813)完善了下,并用了七天的时间爬取了覆盖全国的任一地区的所有类别的兴趣点数据。数据下载还是一个艰难的过程,不过幸运的是,采用了新方法之后,基本上很少需要人工去干预,当然也会有网络的限制,但是基本上同时开辟5个下载通道,速度一直是原创 2016-08-23 11:32:55 · 11573 阅读 · 2 评论 -
Redis中文乱码问题的解决
在Redis结果查看时,突然发现显示的乱码。如图所示:不过看到这种格式,特别的规范,应该是显示格式的问题。按照网上说法:redis-cli.exe --raw。在CMD控制台上输入上述命令,结果出来又是乱码。最后检查redisclient的源码,才发现其有encoding参数,将它设置为中文显示,果然成功了。因此不得不进行整个库的全部删除。利原创 2016-04-16 11:16:57 · 32742 阅读 · 7 评论 -
C#进行Redis操作
由于一些程序是用.net来写的,刚好要访问以前的redis库,于是就找一些redis的.net客户端。在redis主页上,提供了好多个利用.net封装redis的库:csredis Async (and sync) client for Redis and SentinelNhiredis原创 2016-04-16 10:37:08 · 5161 阅读 · 0 评论 -
Redis键时间老化的测试
在使用Redis数据库的时候,临时有一些数据更新的问题,于是进行查找,发现Redis本身自带有键值随时间更新老化的功能。还是非常强大的。一个expire命令走天下!最后整理一下Redis常见的命令:2、适合全体类型的命令EXISTS(key) 确认一个 key 是否存在;DEL(key) 删除一个 key;TYPE(key) 返回值的类型原创 2016-04-25 10:07:54 · 1834 阅读 · 0 评论 -
spark访问redis集群中某个数据库的问题
正常redis是没有数据库的概念的,但是当redis变成集群的时候,它是可以设置数据库的。(其实也就是开辟一块索引)但是以前接触的spark用rediscontext的方式,只能设置IP和端口号。只能在网上找相关资料。才发现之前找的库已经更新了。里面就提供了这样的参数。(https://github.com/RedisLabs/spark-redis)在该网址中原创 2016-04-01 22:15:15 · 3514 阅读 · 0 评论 -
Could not connect to Redis No route to host问题解决
最近一台电脑突然系统崩溃了,想做个新增节点的实验。由于之前装的都是ubuntu操作系统,于是想选个异构的REDHAT试试。在试验第一步,装了个REDIS进行看看,才发现远程无法访问,以前由于都装了有SSH,能轻松访问。而这回出现的错误是:Could not connect to Redis at 192.168.2.195:6379: No route to host这个问原创 2016-04-01 22:03:29 · 39752 阅读 · 1 评论 -
spark访问Redis并进行操作
Redis是一种高性能的内存数据库,其应用场合非常广泛,在一些实时性要求比较高的场景中,以Redis作为架构来实现的是比较多的。Redis提供了好几种数据结构,如Set, List, Hash等。可以适应不同的场合要求。但是也发现Redis存在一个问题,其没有表格的概念,而是以字典(键空间)的方式来管理的,这与传统的SQL方式是不大像的。为了实现对Redis的高原创 2016-01-07 22:58:47 · 13744 阅读 · 3 评论 -
Redis中有序集(Sorted Set)判断某个键的成员存在的设计
一般而言,Redis的ZSet提供了丰富的功能,可以形成诸多应用。在Redis中,提供了如下诸多功能。有序集(Sorted Set)ZADDZREMZCARDZCOUNTZSCOREZINCRBYZRANGEZREVRANGEZRANGEBYSCOREZREVRANGEBYSCOREZRANKZREVRANKZREMRANGEBYRANKZREMRANGEBYSCOREZINTER原创 2017-10-26 11:23:47 · 22349 阅读 · 3 评论