![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 51
雨落千木
我是一个爱好编程的菜鸟!
展开
-
Strom学习(一)----简介
什么是实时流式计算:实时流式计算是实时计算和流式计算的叠加。 实时计算:响应时间受到实时约束的计算,时间约束很短,以秒,毫秒为单位 流式计算:在不断产生的数据流上进行的计算 数据流由基本数据单元组成 数据流不断产生,没有尽头,计算结果也不断产生/更新实时流式计算:在不断产生的...原创 2016-08-28 09:11:37 · 121 阅读 · 0 评论 -
MongoDB学习总结三
MogonDB的java驱动示例: public class DataBase { public static void main(String[] args) throws Exception { try{//1.建立一个mongo的数据库连接对象Mongo mongo = new Mongo("127.0.0.1:27017");//System.out....2016-02-16 19:09:23 · 163 阅读 · 0 评论 -
hive分区表
内部表和外部表内部表:create table ,copy数据到warehouse,删除表时数据也会删除外部表:create external table ,不copy数据到warehouse,删除表时数据不会删除 表的分区分区的好处:如果不建立分区的话,则会全表扫描数据通过目录划分分区,分区字段是特殊字段目录结构:/pub/{dt}/{customer_id}...2016-02-16 10:21:11 · 130 阅读 · 0 评论 -
hive基础
Hive安装:JDK1.6以上Hadoop要启动Hive下载:http://apache.cs.utah.edu/hive/hive-0.11.0/HIve解压:将hive-0.11.0.tar.gz解压到/home/hive路径下tar -zxvf hive-0.11.0.tar.gz产生hive的安装目录/home/hive/hive-0.11.0配置环境变量...2016-02-16 10:17:42 · 449 阅读 · 0 评论 -
redis的一些常见配置
redis.conf文件中的配置daemonize:如果需要在后台运行,则把该项改为yespidfile:配置多个pid的地址,默认在/var/run/redis.pid路径下bind:绑定ip,设置后只接受来自该ip的请求port:监听端口,默认为6379timeout:设置客户端连接时的超时时间,单位为秒loglevel:分为4级,debug、verbose、noti...2016-02-16 09:04:28 · 92 阅读 · 0 评论 -
MongoDB学习总结二
MongoDB的一些操作:创建数据库:use test注意此时数据库并没有创建,只是在mongo的预处理缓存中存在,只有为mongo加入相应的list,才真正创建。如果什么都不干就离开的话,这个空数据库就会被删除。 show dbs 查看所有的集合show collections 查看集合中所有的文档db.help() 查看帮助db.students...原创 2016-02-01 15:13:05 · 211 阅读 · 0 评论 -
MongoDB中的_id和ObjectId
MongoDB中存储的文档必须要有一个_id键,这个键的值可以是任何类型的,默认为ObjectId。在每个文档里面,_id值是唯一的,这样可以确保在一个集合里每个文档可以被唯一标识。如果是两个集合的话,在不同的集合里文档的_id是可以相同的。 MongoDB为什么要使用ObjectId,而不使用自动增加的主键等其他的常规的方式?MongoDB从一开始就设计用来做分布式数据库,处理...2016-02-01 12:00:38 · 538 阅读 · 0 评论 -
MongoDB学习总结
MongoDB是一种nosql数据库,其与关系型数据库有很大的不同 关系型数据库中的表在MongoDB中被称为集合,关系型数据库中每行记录在MongoDB中被称为文档,关系型数据库中的表的字段在MongoDB中被称为key。MongoDB中没有主外建的概念。基本概念:1.文档 文档是MongoDB的最基本的单元,也是MongoDB的核心概念。 文档的键值对...2016-01-27 14:41:22 · 140 阅读 · 0 评论 -
GPFS安装搭建(二)
gpfs集群配置: 集群搭建的准备:为了方便我们进行操作,首先设置ssh免密码登录。 在192.168.1.17机器上连接192.168.1.140机器: ssh-kengen scp .ssh/id_rsa.pub root@192.168.1.140:/home/id_rsa.pub cat /home/id_ rsa.pub >> ~.s...2015-12-14 01:01:18 · 821 阅读 · 0 评论 -
GPFS安装搭建(一)
安装gpfs,需要先安装的软件: kshell gcc g++ kernel-devel rpm-build 首先检查软件是否安装: which ksh、 which gcc或者gcc -v、 which g++或者 g++ --version、 rpm -q kernel-devel、 whic...2015-12-14 00:50:20 · 917 阅读 · 0 评论 -
Strom学习(二)----Storm计算模型
Storm计算模型是一个DAG的计算模型,而且Storm是把DAG和流式计算结合起来。在Storm的DAG模型里面,最关键的点是Topology,Topology是Storm计算模型DAG的一个体现,也是Storm里面DAG的实现。DAG是一个有向无环图结构。 一个Topology和一个job相似,是一个app的打包运行实例,Topology会被提交到Storm平台上去运行,Stor...原创 2016-08-28 22:21:56 · 237 阅读 · 0 评论 -
MongoDB与mapreduce
Mongodb可以实现MapReduce,用于完成count,distinct,group by等聚合函数的功能,此外还有其他功能。MapReduce开始是将操作映射到mongodb集合中的每一个文档,这个操作要么什么都不做,要么产生一些键和N个值,然后按照键分组,将相同键对应值的值组成列表,放到对应的键的值中。最后进行化简,把键对应的列表中的值化简成一个单一的值。这个值被返回,接着进行洗...原创 2016-02-19 08:20:05 · 152 阅读 · 0 评论