![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nosql
文章平均质量分 66
清山随笔
这个作者很懒,什么都没留下…
展开
-
执行安装redis报错undefined reference to `__sync_add_and_fetch_4\'
执行make命令时报错:zmalloc.o: In function `zmalloc_used_memory':/var/lib/tcommsvr/redis-2.8.0-rc4/src/zmalloc.c:223: undefined reference to `__sync_add_and_fetch_4'collect2: ld returned 1 exit statusmake[1]:原创 2014-09-18 16:27:51 · 844 阅读 · 0 评论 -
Hive基础知识补遗
Hive学习途径: 1、官网:http://hive.apache.org/2、慕课网:Hive相关入门课程3、《Hadoop实战》第二版4、网络上各种相关Blog以及相关介绍(主要用来进行问题查找解疑) Hive的定义与功能: 定义hive 含义为蜂巢,百度百科定义为:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql原创 2016-12-10 16:58:15 · 365 阅读 · 0 评论 -
paxos算法学习总结
Edit需求:一个分布式系统如何就某一个值达成一致,即在分布式系统中数据的一致性需要。在一个分布式数据库系统中,如果各节点的初始状态一致,每个节点都执行相同的操作序列,那么他们最后能得到一个一致的状态。为了保证每个节点都执行相同的命令序列,需要在每一条指令上执行一个“一致性算法”以保证每个节点看到的指令一致。这就涉及到一个节点通信的问题,节点通信为保持数据一致性,其通信模型有两个:共享内存(sha原创 2016-12-10 16:58:18 · 637 阅读 · 0 评论 -
MongoDB的增删改查操作
插入语句MongoDB的 插入语句之前也有过介绍了,这里我们只做一个简单的示例:> db.customers.insert({id:11,name:'lisi',orders:[{orders_id:1,create_time:'2017-02-06',products:[{product_name:'MiPad',price:'$100.00'},{product_name:'iphone',pr原创 2017-02-09 15:03:14 · 774 阅读 · 0 评论 -
MongoDB的分片集群
分片集群简介在之前有说过关于MongoDB的复制集,复制集主要用来实现自动故障转移从而达到高可用的目的,然而,随着业务规模的增长和时间的推移,业务数据量会越来越大,当前业务数据可能只有几百GB不到,一台DB服务器足以搞定所有的工作,而一旦业务数据量扩充大几个TB几百个TB时,就会产生一台服务器无法存储的情况,此时,需要将数据按照一定的规则分配到不同的服务器进行存储、查询等,即为分片集群。分片集群要做原创 2017-02-28 16:32:44 · 6381 阅读 · 0 评论 -
MongoDB-Journaling日志功能
Journaling日志简介Journaling日志是MongoDB中一个非常重要的功能,他保证了数据库服务器在意外断电、自然灾害下数据的完整性 。该功能类似于RDB中的事务日志,使得数据库在意外故障后快速回复,该功能默认打开内存视图Journaling功能的两个重要内存视图:private view 与 shared view ,这两个视图都是通过MMAP(内存映射)来实现的,对private v原创 2017-02-10 16:05:11 · 3518 阅读 · 1 评论 -
MongoDB的聚集分析
简介聚集操作实际上是对数据进行统计分析时使用的,简单的说,可以理解为SQL中的聚合操作,MongoDB中的聚集操作是为了大数据分析做准备的,尤其是MapReduce可以在分片集群上进行操作,本节主要讲了简单的一些操作,没有涉及到MongoDB中的聚集框架,MongoDB中对数据进行分析计算的方式主要有:管道模式、MapReduce模式以及简单的函数或命令这三种聚集分析方式。管道模式聚集分析Mongo原创 2017-02-13 15:44:24 · 2165 阅读 · 0 评论 -
MongoDB的复制集
#复制集功能概述复制集(replica set)是MongoDB用来保持相同的数据集合的一个MongoD进程组,复制集提供了所有生产部署的基础:数据冗余以及高可用。MongoDB的高可用靠的是自动故障转移来实现的,本节就是介绍MongoDB的该部分实现的。复制集工作原理虽然Journaling日志功能提供了数据恢复的功能,但是他通常针对的是单个节点来说的,而复制集则针对的是一组进程,通常是多个节点组原创 2017-02-24 17:17:29 · 3199 阅读 · 0 评论 -
为什么需要MongoDB
为什么需要MongoDBMongoDB与MySQL的区别关于MongoDB与MySQL的区别可以参考网上关于NoSQL与MySQL的区别,以下是找到的网上的关于两者区别的截图: 总体上讲:由于MongoDB独特的数据处理方式,可以将热点数据加载到内存,故而对查询来讲,会非常快(当然也会非常消耗内存);同时由于采用了BSON的方式存储数据,故而对JSON格式数据具有非常好的支持性以及友好的表结原创 2017-02-09 13:51:15 · 8590 阅读 · 0 评论 -
MongoDB的索引与查询优化
MongoDB的索引的机制与普通数据库基本相似,主要有如下几部分:单字段索引MongoDB默认为所有集合创建了一个_id字段的单字段索引,该索引唯一,且不能删除(_id为集合的主键)索引的创建方法:db.customers.ensureIndex({name:1},{unique:false} )查询索引:db.system.indexes.find()查询结果:{ "v" : 1, "name原创 2017-02-09 13:46:37 · 6204 阅读 · 0 评论 -
MongoDB的查询选择器
MongoDB自己的查询语言MongoDB不支持SQL,本节主要讲在MongoDB中如何实现类似SQL的查询功能SQl中的写法如select column from table join table2 where condition在MongoDB中有一套类似的写法原创 2017-02-09 13:47:56 · 2210 阅读 · 0 评论 -
MongoDB的权限控制
权限控制API所有数据库的角色控制首先在启用权限控制时,需要在启动MongoDB时指定启动,可以通过配置文件或启动命令添加:原创 2017-03-08 17:37:14 · 685 阅读 · 0 评论 -
MongoDB的分布式文件存储系统
对于MongoDB的存储基本单元BSON文档对象,字段值可以是二进制类型,基于此特点,我们可以直接在MongoDB中存储文件,但是有一个限制,由于MongoDB中单个BSON对象不能大于16MB,故而如果需要存储更大的文件,就需要GridFS了。小文件存储系统与GridFS文件存储我们先看下MongoDB存储小文件系统的例子原创 2017-03-06 15:17:58 · 7257 阅读 · 0 评论 -
hive自定义函数
这是个很有用的功能,用来处理自己的业务逻辑1、需要引入的jar包(maven) org.apache.hadoop hadoop-common 2.7.1 org.apache.hive hive-jdbc 1.2.1 org.apache.hive hive-exec 1.2.1 jdk.tools jdk.tools原创 2016-12-10 16:58:13 · 317 阅读 · 0 评论 -
hive的条件函数case
case用法示例select id,userid,case title when 'test_title_2' then userid+1 else userid+10 end from article;从article(id,userid,article,content)表中将标题为‘test_title_2’的记录其userid+1,其他的记录userid+10coalesce用法示例:sel原创 2016-12-10 16:58:10 · 816 阅读 · 0 评论 -
有关NoSQL的一点理论知识
在 理论计算机科学中, CAP定理(CAP theorem), 又被称作 布鲁尔定理(Brewer's theorem), 它指出对于一个 分布式计算系统 来说,不可能同时满足以下三点: 一致性(Consistency) (所有节点在同一时间具有相同的数据) 可用性(Availability) (保证每个请求不管成功或者失败都有响应) 分隔容忍(Partition tolerance) (系统中任原创 2014-09-18 16:27:56 · 422 阅读 · 0 评论 -
读取redis中的数据时出现:MISCONF Redis is configured to save RDB snapshots
以下为异常详细信息:Exception in thread "main" redis.clients.jedis.exceptions.JedisDataException: MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that m原创 2014-09-18 16:28:01 · 7725 阅读 · 1 评论 -
redis性能测试
前段时间测试了写文件的性能,实在不咋滴,改测试了下redis的写入性能。多线程写入:package com.sides.redis;import java.util.Iterator;import java.util.List;import java.util.Map;import java.util.concurrent.Callable;import org.apache.log4j.Logg原创 2014-09-18 16:28:08 · 505 阅读 · 0 评论 -
redis 2.8.6安装报错解决
zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directoryzmalloc.h:55:2: error: #error "Newer version of jemalloc required"make[1]: *** [adlist.o] Error 1make[1]: Leaving directory `/da原创 2014-09-18 16:28:11 · 447 阅读 · 0 评论 -
redis源码分析(一)
今日起,结合已经看过的所有的redis的命令以及高级属性,做redis的源码级别的分析。redis-2.8-7先说 list集合,主要两个文件adlist.c 以及adlist.h这个和java中定义的list区别不大,就是自己实现了一遍adlist.c/* Add a new node to the list, to head, contaning the specified 'value' *原创 2014-09-18 16:28:13 · 497 阅读 · 0 评论 -
linux安装JDK1.8、tomcat8、Maven3.2、Scala2.10、Spark1.3.0
下载JDK1.8、tomcat8、Maven、Spark、Scalawget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gzwget http://mirrors.hust.edu.cn/apache/tomcat/tomcat-8/v8.0.22/bin/apache-tomcat-8.原创 2016-12-10 16:57:48 · 744 阅读 · 0 评论 -
hive异常 java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7
2015-11-13 15:05:16,289 INFO [main]: server.HiveServer2 (HiveServer2.java:startHiveServer2(368)) - Exception caught when calling stop of HiveServer2 before retrying startjava.lang.NullPointerExceptio原创 2016-12-10 16:57:53 · 3944 阅读 · 1 评论 -
hive异常:创建MySQL时Specified key was too long; max key length is 1000 bytes
2015-11-13 14:44:44,681 ERROR [main]: DataNucleus.Datastore (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class(es) : Specified key was too long; max key length is 10原创 2016-12-10 16:57:56 · 1000 阅读 · 0 评论 -
hive的安装使用总结
折腾了三天,断断续续,到今天周五,终于搞定了,安装好Hive后,执行bin中的hive即可进入直接输入 show tables;或者先启动hiveserver2,然后运行beeline,然后连接DB,执行show tables;连接DB的语句:!connect jdbc:hive2://host:10000用户名密码直接用配置好的的MySQL用户名密码即可 beeline> show tables原创 2016-12-10 16:57:59 · 4126 阅读 · 0 评论 -
sqoop数据导入导出常用功能
sqoop wget下来解压后即可使用,常用的导入导出语句为://导入到HDFS中./sqoop import --connect jdbc:mysql://localhost:3306/kbs --username hive --password 123456 --table user --columns 'username,address' -m 1 --target-dir '/sqoop/原创 2016-12-10 16:58:01 · 696 阅读 · 0 评论 -
执行sqoop导入MySQL数据到HDFS出错,异常:The auxService:mapreduce_shuffle does not exist
执行sqoop导入MySQL数据到HDFS出错,异常如下:15/11/15 08:04:23 INFO mapreduce.Job: Task Id : attempt_1446112127610_0004_m_000000_0, Status : FAILEDContainer launch failed for container_1446112127610_0004_01_000002 :原创 2016-12-10 16:58:04 · 1133 阅读 · 0 评论 -
hive中设置查询不启动mapreduce作业(默认不启动)hive-site.xml关键配置
hive.fetch.task.conversion more Expects one of [none, minimal, more]. Some select queries can be converted to single FETCH task minimizing latency. Currently the query should be原创 2016-12-10 16:58:07 · 1105 阅读 · 0 评论 -
MongoDB的管理与监控
简介MongoDB的管理与监控是可以参考关系型数据库的各种管理思想的,如常用的数据导入导出、备份、监控等,本节主要介绍相关的内容是如何在MongoDB中实现的,MongoDB管理的DBA需要重点关注。数据的导入与导出数据导入与导出可以借助mongoexport与mongoimport实现数据导出: 先查看数据:> use testswitched to db test> show collec原创 2017-03-07 19:27:34 · 1794 阅读 · 0 评论