云计算
文章平均质量分 60
播种生活
热爱技术,热爱生活
展开
-
Hbase shell 命令详解
安装好hbase后,执行hbase shell,进入hbase shell命令行:1,建立一个表student:hbase(main):030:0> create 'student','grade','course'0 row(s) in 0.6060 secondshbase(main):031:0> 2,查看hbase中表,有scores、student、test三个原创 2014-04-19 13:52:38 · 846 阅读 · 0 评论 -
Hive简介
原文:http://www.distream.org/?p=393 1 和传统数据库的比较读时模式vs.写时模式传统数据库是写时模式(schema on write),即数据在写入数据库时对模式进行检查。Hive在数据加载时不进行验证,而是在查询时进行,是读时模式(schema on read)。写时模式有利于提升查询性能,因为数据库可以对列进行索引,并对数据压缩。但作为权衡,此时转载 2014-04-13 11:06:43 · 544 阅读 · 0 评论 -
HDFS HA: 高可靠性分布式存储系统解决方案的历史演进
HDFS HA: 高可靠性分布式存储系统解决方案的历史演进HDFSHADRBDHDFS FederationHadoop目录(?)[+]1. HDFS 简介 HDFS,为Hadoop这个分布式计算框架提供高性能、高可靠、高可扩展的存储服务。HDFS的系统架构是典型的主/从架构,早期的架构包括一个主节点NameNode和多个从节点DataNod转载 2014-04-12 14:17:19 · 611 阅读 · 0 评论 -
hive(数据仓库工具)
54hive(数据仓库工具)编辑hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。转载 2014-04-12 09:23:01 · 493 阅读 · 0 评论 -
云计算基础概念
1,云计算分类:Iaas-基础设施及服务:从硬件和基础设施架构方面考虑的;通过建立虚拟的计算,存储和数据中心,使得能够对宽带、IO设备、PC、存储等计算机基础设施集中起来,形成一个虚拟的资源池对外提供服务。比如,亚马逊建立的云计算数据中心;Paas-平台及服务:操作系统、数据库系统、应用软件系统等集中起来,对外提供应用系统的软件供应服务;例如,分布式存储、分布式大规模数据管理、分布式编程环原创 2014-03-26 14:30:56 · 584 阅读 · 0 评论 -
hadoop的成员项目简介
Pig:Hadoop的客户端;Pig Latin类似sql的面向数据流的语言;pig可以把pig latin映射为mapreduce作业上传到集群运行,减少用户编写java的程序;三种运行方式:shell,脚本,嵌入式Zookeeper:Google Chubby的开源实现;通信协调软件;例如,防止单点失效、处理负载均衡、确认消息是否准确到达;hbase中数据节点之间协原创 2014-03-26 21:52:25 · 586 阅读 · 0 评论 -
mapreduce在倒排索引中练习
倒排索引是文件检索系统中常用的数据结构,被广泛应用于全文章搜索引擎。通常情况下,倒排索引由一个单词或词组以及相关的文档列表组成,文档列表中的文档或者是标识文档的ID号,或者是指定文档所在位置的URI;在实际应用中,往往还需要给每个文档加一个权值,用来指出每个文档与搜索内容的相关度;我的例子中,文档内容如下:hadoop11:/home/in/win1 # hadoop fs -ca原创 2014-04-06 15:33:55 · 953 阅读 · 0 评论 -
使用putty进行ssh tunnel远程内网机器
通常我们通过登录具有外网ip的远程机器来连接内网的机器;本文介绍,通过putty进行ssh tunnel,进而达到使用本机直接连接远程内网机器;1,在putty中创建一个session,输入具有外网ip的node信息:2,在connection下面找到SSH,打开SSH点击tunnel输入source port,source port是你想在本机使用的端口,destination是远程原创 2014-05-06 17:32:24 · 6452 阅读 · 0 评论 -
使用ping测试MTU值
MTU:MTU是Maximum Transmission Unit的缩写;意思是网络上传送的最大数据包。MTU的单位是字节。大部分网络设备的MTU都是1500。把本机的MTU设成比网关的MTU小或相同,就可以减少丢包。如果本机的MTU比网关的MTU大,大的数据包就会被拆开来传送,这样会产生很多数据包碎片,增加丢包率;如果检测到网关的MTU值是1500,从1400到1472之间多试几次,就能原创 2014-04-03 14:34:17 · 15233 阅读 · 2 评论 -
openstack neutron 添加router
在neutron网络中,如果需要打通不同租户之间的软件网络,那么需要打开 neutron l3 agent,并且配置router;配置/etc/neutron/l3_agent.ini#vi /etc/neutron/l3_agent.ini[DEFAULT] router_id = dbad9f1c-7999-4b1e-b307-c3466bb0eed9 use_na原创 2015-01-14 17:59:17 · 3424 阅读 · 0 评论