nosql
大林-Java
专注于互联网技术IT,Java架构,数据库及数据仓库,缓存,消息,分布式,大数据
展开
-
HBase性能优化
1 修改Linux配置:并发同时打开文件数默认1024,Too many files异常 解决方法:ulimit -n2 修改JVM配置:hbase-env.sh 中 hbase_heapsize 堆内存调整3 Hbase配置:1)zookeeper.session.timeout:这个timeout决定了RegionServer是否能够及时的failover。设置成1分钟或更低,原创 2014-02-17 19:59:46 · 940 阅读 · 2 评论 -
MongoDB常用API及优化
MongoDB windows 安装:cmd 窗口 mongod.exe --dbpath=C:\MongoDBDATA ,cmd窗口不要关闭mongo.exe创建数据库:use whl (切换到whl 数据库,如果没有则创建,如果什么不操作,就会删除whl库)创建表(集合):db.createCollection(“users”) db.oldname.renameC原创 2014-02-17 20:24:33 · 1341 阅读 · 0 评论 -
hbase的coprocessor机制来在hbase上增加sql解析引擎
自己参与构建的一个产品,其场景是每天凌晨批量导入计算好的前一天相关的业务数据到前端存储(数据库或者nosql),然后供用户调用。业务场景有2个特点:1.对于前端存储,存在大量的批量导入,数据量比较大,每天导入的数据达到数亿行。可以理解为凌晨集中写,然后白天只进行读。2.查询来说相对简单,如果是存数据库的话,每个表大概会由3~4个列来构成一个组合索引,然后查询就是根据这个组合索引来进行。转载 2014-02-18 19:30:43 · 1589 阅读 · 0 评论 -
Solr的HBase多条件查询
摘要: 背景: 某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快 速检索,对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方 ...背景:某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对row转载 2014-02-18 19:33:43 · 1783 阅读 · 0 评论 -
Hbase 介绍
Row Key与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行,只有三种方式:1 通过单个row key访问2 通过row key的range3 全表扫描Row key行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row ke转载 2014-02-20 14:10:35 · 598 阅读 · 0 评论 -
利用redis + lua解决抢红包高并发的问题
过年微信红包很火,最近有个项目也要做抢红包,于是写了个红包的生成算法。红包生成算法的需求预先生成所有的红包还是一个请求随机生成一个红包简单来说,就是把一个大整数m分解(直接以“分为单位,如1元即100)分解成n个小整数的过程,小整数的范围是[min, max]。最简单的思路,先保底,每个小红包保证有min,然后每个请求都随机生成一个0到(max-min)转载 2015-08-28 15:18:45 · 688 阅读 · 0 评论 -
秒杀
0 系列目录秒杀系统架构秒杀系统架构分析与实战1 秒杀业务分析正常电子商务流程(1)查询商品;(2)创建订单;(3)扣减库存;(4)更新订单;(5)付款;(6)卖家发货秒杀业务的特性(1)低廉价格;(2)大幅推广;(3)瞬时售空;(4)一般是定时上架;(5)时间短、瞬时并发量高;2 秒杀技术挑战假设转载 2016-03-16 19:11:48 · 1017 阅读 · 0 评论 -
mongoDB 全文搜索 TextSearch
snowball(默认分词器)只有在Mongodb 3.2之后的企业版中才开始加入了对中文的支持,之前或者社区的版本在建立全文索引时会自动过滤中文字符。在Mongodb 3.2企业版中,对中文建立全文索引后,默认使用的是与英文同样的分词规则,即以空格与符号作为词与词之间分隔的界限。所以,当使用“福尔摩斯”作为搜索词时,无法搜索到“福尔摩斯探案全集”,只能搜索到类似“福尔摩斯(1)”之类转载 2017-05-04 17:27:36 · 4457 阅读 · 0 评论