[置顶] Oracle Form开发书籍推荐

深入浅出的完整介绍form开发,包括所以基础知识以及复杂功能,设计等等,包含众多实例,原理分析,开发规范,常用代码,技巧等等。Oracle application DBA或者开发必备。...
阅读(241) 评论(0)

大数据时代的技术hive:hive的数据类型和数据模型

来自:http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.html在上篇文章里,我列举了一个简单的hive操作实例,创建了一张表test,并且向这张表加载了数据,这些操作和关系数据库操作类似,我们常把hive和关系数据库进行比较,也正是因为hive很多知识点和关系数据库类似。  关系数据库里有表(table),分区,hive里...
阅读(170) 评论(0)

ZooKeeper系列(四)

一、配置服务配置服务是分布式应用所需要的基本服务之一,它使集群中的机器可以共享配置信息中那些公共的部分。简单地说,ZooKeeper可以作为一个具有高可用性的配置存储器,允许分布式应用的参与者检索和更新配置文件。使用ZooKeeper中的观察机制,可以建立一个活跃的配置服务,使那些感兴趣的客户端能够获得配置信息修改的通知。下面来编写一个这样的服务。我们通过两个假设来简化所需实现的服务(稍加修改就可...
阅读(160) 评论(0)

ZooKeeper系列(三)

前面虽然配置了集群模式的Zookeeper,但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。一、Zookeeper的四字命令Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令,用来获取Zookeeper服务的当前状态及相关信息。用户在客户端可以通过telnet或nc向Zookeeper提交相应的命令。Zookeeper常用的四字...
阅读(160) 评论(0)

ZooKeeper系列(二)

Zookeeper的环境配置一、Zookeeper的搭建方式Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。1.单机模式:Zookeeper只运行在一台服务器上,适合测试环境;2.伪集群模式:就是在一台物理机上运行多个Zookeeper 实例。3.集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble)。Zookeepe...
阅读(99) 评论(0)

Zookeeper系列(一)

一、ZooKeeper的背景1.1 认识ZooKeeperZooKeeper---译名为“动物园管理员”。动物园里当然有好多的动物,游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物,而不是像走在原始丛林里,心惊胆颤的被动 物所观赏。为了让各种不同的动物呆在它们应该呆的地方,而不是相互串门,或是相互厮杀,就需要动物园管理员按照动物的各种习性加以分类和管理,这样我们才能更加放心安全的观赏动...
阅读(169) 评论(0)

分布式服务框架 Zookeeper -- 管理分布式环境中的数据

来自:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。本文将从使用者角度详细介绍 Zookeeper 的安装和配置文...
阅读(448) 评论(0)

zookeeper原理

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee...
阅读(250) 评论(0)

Hue安装配置实践

来自:https://yq.aliyun.com/articles/27876摘要: Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据...
阅读(304) 评论(0)

【MapReduce】常用计算模型详解

来自:http://blog.csdn.net/yongjian1092/article/details/46799371前一阵子参加炼数成金的MapReduce培训,培训中的作业例子比较有代表性,用于解释问题再好不过了。有一本国外的有关MR的教材,比较实用,点此下载。一.MapReduce应用场景MR能解决什么问题?一般来说,用的最多的应该是日志分析,海量数据排序处理。最近一段时间公司用MR来解...
阅读(194) 评论(0)

MapReduce中的常见算法

来自:http://www.thebigdata.cn/Hadoop/13619.html一、MapReduce中有哪些常见算法  (1)经典之王:单词计数    这个是MapReduce的经典案例,经典的不能再经典了!  (2)数据去重    "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去...
阅读(522) 评论(0)

Flume日志收集

来自:http://www.cnblogs.com/oubo/archive/2012/05/25/2517751.html一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。设计目标:(1) 可靠性当节点出现故障时,日志能够被传送到其他节点上而不会...
阅读(365) 评论(0)

Hive安装及使用攻略

Jul 16, 2013Tags:HadoophiveHiveQLsql分区表Comments:21 CommentsHive安装及使用攻略让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了。这种配置...
阅读(292) 评论(0)

大数据时代的技术hive:hive介绍

来自:http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html我最近研究了hive的相关技术,有点心得,这里和大家分享下。  首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性:  1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询...
阅读(152) 评论(0)

Hadoop集群(第9期)_MapReduce初级案例

来自:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html1、数据去重   "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述  对数据文件中的数据进行去...
阅读(165) 评论(0)

Hadoop学习笔记:MapReduce框架详解

来自:http://blog.jobbole.com/84089/开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习...
阅读(93) 评论(0)

Hadoop YARN架构设计要点

来自:http://www.tuicool.com/articles/6nAZF3jYARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,通过YARN来管理资源。如果你的应用程序也需要借助YARN的资源管理功能,...
阅读(203) 评论(0)

深入理解Yarn的架构及作业调度机制

来自:http://blog.csdn.net/u010330043/article/details/51223108一、YARN 架构由什么组成?首先我们来看看 YARN 的架构图,如下图所示。 从 YARN 的架构图来看,它主要由ResourceManager、NodeManager、ApplicationMaster和Container等以下几个组件构成。  1、 ResourceManag...
阅读(118) 评论(0)

JAVA API操作HDFS文件系统

来自:http://blog.csdn.net/kkdelta/article/details/19910657一个通过Java API操作HDFS文件系统的例子,本例子使用的是hadoop0.20的版本,在windows的eclipse下运行的时候,需要将core-site.xml和hdfs-site.xml放在src/bin目录中。[java] view plain copy public c...
阅读(82) 评论(0)

HDFS中JAVA API的使用

来自:http://www.cnblogs.com/liuling/p/2013-6-17-01.htmlHDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。  对分HDFS中的文件操作主要涉及一下几个类:  Configuration类:该类的对象封转了客户端或者服务...
阅读(89) 评论(0)
608条 共31页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:991457次
    • 积分:13715
    • 等级:
    • 排名:第882名
    • 原创:347篇
    • 转载:257篇
    • 译文:0篇
    • 评论:19条
    ★★★★★★★交流方式★★★★★★
    Mail:xingyun.cai@qq.com
    个人书籍
    《深入浅出Oracle Form开发》.电子工业出版社
    最新评论