自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(125)
  • 论坛 (5)
  • 收藏
  • 关注

原创 安装部署Liberty Neutron

本文详细介绍了部署Neutron的过程,对遇到的问题给出了解决方法

2016-05-27 16:38:28 14435 1

原创 Java线程之线程概述

本文讨论了线程的概念、类型及多线程模型,并结合上述概念,分析了Java线程

2015-10-14 09:39:09 2368

原创 ZooKeeper分布式集群部署及问题

本文简要描述了ZooKeeper集群的部署安装,并分析了安装过程中遇到的问题,最后说明了如何修改ZooKeeper的默认日志配置,以使日志输出到指定目录和文件中。

2015-07-27 15:50:17 4085

原创 OpenStack之swift安装笔记

本片文章详细介绍了OpenStack中对象存储swift的安装配置过程,并描述了遇到的问题及及解决方法。

2015-06-19 10:46:55 8746 5

原创 KeyStone安装部署笔记

安装部署Keystone的简明教程

2015-05-29 16:28:20 5477 5

原创 MemStore刷写线程—MemStoreFlusher源代码分析

本文结合MemStoreFlusher分析了MemStore刷写的触发机制及内部实现

2015-05-13 15:31:06 2673 1

原创 Hadoop-2.4.1学习之InputFormat及源代码分析

本篇文章讲述了InputFormat及其子类,并结合源代码详细分析了FileInputFormat如何读取InputSplit及处理行跨越两个InputSplit的问题

2015-01-13 16:57:46 4756

原创 Hadoop-2.4.1学习之FileSystem及实战

本篇文章学习了Hadoop的FileSystem及其子类,详细介绍了get和newInstance的区别并介绍了若干API方法,最后给出了一个简单的实例

2014-12-30 13:40:29 8222 3

原创 Hadoop-2.4.1学习之Writable及其实现

本文学习了Writable及WritableComparable接口,并结合IntWritable和Text类介绍了具体的实现,最后给出了一个自定义的WritableComparable类

2014-12-23 09:49:18 3438

原创 Hadoop-2.4.1学习之RawComparator及其实现

本篇文章结合源代码学习了RawComparator接口及其实现,并分析了不同实现的区别

2014-12-19 14:59:27 4093 1

原创 Hadoop-2.4.1学习之Map任务源码分析(下)

对Map任务的SORT阶段源代码进行了学习和分析

2014-12-16 14:13:35 2614

原创 Hadoop-2.4.1学习之Map任务源码分析(上)

通过源代码分析了Map任务的map阶段

2014-12-10 14:45:21 3013 4

原创 Hadoop-2.4.1学习之高可用ResourceManager

本文介绍了ResourceManager的HA特性,并详细描述了如何配置RM的HA及自动故障转移

2014-12-04 16:33:15 9128

原创 机器学习预备知识之概率论(下)

推导了机器学习中常用的概率知识:期望、方差、伯努利分布、泊松分布和高斯分布

2014-11-30 11:12:23 3450

翻译 Hadoop-2.4.1学习之ResourceManager重启

本文翻译自hadoop官网的ResourceManager Restart一文,主要讲解了ResourceManager在遇到故障重启后而不影响重启前的应用程序的特性,以及如何配置ResourceManager重启

2014-11-27 14:38:29 9084

原创 Hadoop-2.4.1学习之容量调度器

本篇文章学习了hadoop中容量调度器的特性,并详细描述了配置参数

2014-11-21 17:00:34 6585

原创 Hadoop-2.4.1学习之Streaming编程

本篇文章学习了如何编写hadoop streaming程序,重点讲述了工作原理及用到的各种参数

2014-11-17 11:11:24 4226 1

原创 机器学习预备知识之概率论(上)

机器学习必需的概率论知识

2014-11-15 21:27:07 5597

原创 Hadoop-2.4.1学习之如何确定Mapper数量

本篇文章通过源代码分析了在输入格式为TextInputFormat的情况下,hadoop-2.4.1如何确定Mapper任务的数量

2014-11-11 16:23:34 7026 2

原创 Hadoop-2.4.1学习之Mapper和Reducer

Hadoop-2.4.1中MapReduce作业的Mapper和Reducer综述

2014-11-05 11:30:45 10316 9

转载 JVM必备指南

简介Java虚拟机(JVM)是Java应用的运行环境,从一般意义上来讲,JVM是通过规范来定义的一个虚拟的计算机,被设计用来解释执行从Java源码编译而来的字节码。更通俗地说,JVM是指对这个规范的具体实现。这种实现基于严格的指令集和全面的内存模型。另外,JVM也通常被形容为对软件运行时环境的实现。通常JVM实现主要指的是HotSpot。JVM规范保证任何的实现都能够以同样的方式解

2014-11-03 09:45:55 1695 1

原创 Hadoop-2.4.1学习之HDFS文件权限和ACL

之前在论坛看到一个关于HDFS权限的问题,当时无法回答该问题。无法回答并不意味着对HDFS权限一无所知,而是不能准确完整的阐述HDFS权限,因此决定系统地学习HDFS文件权限。HDFS的文件和目录权限模型共享了POSIX(Portable Operating System Interface,可移植操作系统接口)模型的很多部分,比如每个文件和目录与一个拥有者和组相关联,文件或者目录对于拥有者、组内

2014-11-02 14:40:02 16684 4

原创 Hadoop-2.4.1学习之edits和fsimage查看器

在hadoop中edits和fsimage是两个至关重要的文件,其中edits负责保存自最新检查点后命名空间的变化,起着日志的作用,而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的,幸运的是hadoop为此准备了专门的工具用于查看文件的内容,这些工具分别为oev和oiv,可以使用hdfs调用执行。

2014-10-31 10:31:03 6873 1

原创 Hadoop-1.2.1学习之Job创建和提交源代码分析

在Hadoop中,MapReduce的Java作业通常由编写Mapper和Reducer开始,接着创建Job对象,然后使用该对象的set方法设置Mapper和Reducer以及诸如输入输出等参数,最后调用Job对象的waitForCompletion(true)方法提交作业并等待作业的完成。尽管使用了寥寥数语就描述了作业的创建和提交,但实际情况要复杂的多,本篇文章将通过分析源代码来深入学习该过程。

2014-10-27 16:05:50 2830 1

原创 Hadoop-2.4.1学习之HDFS快照

HDFS快照是文件系统的只读的实时的拷贝,可以是文件系统的一部分或者整个文件系统。快照的一些通用场景是数据备份,对用户错误的保护和灾难恢复。HDFS的快照实现是高效的:l  快照的创建时瞬间完成的,排除查找inode的时间,需要花费O(1),即常数时间。l  只有执行与快照相关的修改时才需要额外的内存,内存开销为O(M),M为修改的文件或者目录的数量。l  DataNodes中的块不会

2014-10-23 14:03:56 4772 1

原创 Hadoop-2.4.1学习之ViewFs

视图文件系统(View File System ,ViewFs)提供了管理多个Hadoop文件系统命名空间的方式,该系统在HDFS联盟的集群中有多个NameNode(因此有多个命名空间)是特别有用。ViewFs与某些Linux或Unix系统的客户端挂载表类似,可以被用于创建个性化的命名空间视图和整个集群共同的视图。本篇文章基于拥有几个集群,集群互相联合形成多个命名空间的Hadoop系统,也学习了在

2014-10-22 11:37:14 8723 2

原创 Hadoop-2.4.1学习之QJM HA的自动故障转移

前面学习了使用命令hdfs haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC)进程。ZooKeeper是维护少量协调数据,通知客户

2014-10-20 15:11:43 6918 1

原创 Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性(三)

在学习了如何配置HA后,接下来是启动和管理HA。要启动HA集群,首先要在所有运行JournalNode的主机上启动JournalNodes守护进程,可以在每台主机上执行命令hdfs journalnode启动journalnode守护进程。在journalnode守护进程启动完成之后,必须首先同步两个 NameNode硬盘上的元数据,具体如下:l  如果正在搭建全新的HDFS集群,应该首先在其

2014-10-17 21:33:23 3199 1

原创 Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性(二)

在了解了HA的特性和架构后,接下来学习如何配置管理HA,在学习与配置HA有关的参数之前,先明确部署HA所需要的主机数量。由HA的架构可知,存在两个NameNode主机,一个为现役NameNode主机,一个为待机NameNode主机,二者的硬件配置应该相同,同时还要有运行JournalNodes的主机。由于JournalNode守护进程是相对轻量级的,那么这些守护进程可与其它Hadoop守护进程,如

2014-10-14 16:06:55 3392 3

原创 Hadoop-2.4.1学习之配置管理HDFS联盟

Hadoop-1.x版本中的HDFS架构在整个集群中只允许一个命名空间,由一个NameNode管理整个命名空间,Hadoop-2.x版本中的HDFS联盟通过支持多个NameNode和命名空间解决了之前架构的局限性。HDFS联盟的配置管理是向后兼容的,允许现存的单节点NameNode配置在不需要任何修改的情况下工作正常。新的配置管理允许集群中的所有节点使用相同的配置而不需要根据节点的不同类型部署不同

2014-10-13 16:53:23 4331

原创 Hadoop-2.4.1学习之使用Quorum Journal Manager的HDFS的高可用性(一)

在Hadoop-2.x版本之前,HDFS集群中的NameNode是单点故障的,即整个集群中只存在一个NameNode,虽然存在SecondaryNameNode,但由于二者关于命名空间的数据有可能不一致,比如NameNode在两次检查点间隔之间出现问题,这势必会导致部分数据的丢失。如果NameNode所在的主机或者namenode进程不可用,整个集群直到NameNode重启或者转移到Seconda

2014-10-11 16:16:53 2234

原创 Hadoop-2.4.1学习之Hadoop命令

在Hadoop-1.x版本中主要使用hadoop脚本执行各种命令,包括运行jar文件(jar),运行文件系统客户端(fs),运行HDFS管理客户端(dfsadmin)等,但Hadoop-2.x将hadoop脚本拆分为hadoop、hdfs、mapred几个脚本,并新增了yarn脚本用于执行与yarn有关的命令。在命令行直接执行上述脚本都会输出该脚本的使用方法,比如hadoop。其中--config

2014-10-09 15:14:39 2384

原创 Hive学习之自定义聚合函数

编写Hive的UDAF函数

2014-10-07 15:58:02 5807

原创 Linux下安装MySQL

之前在配置MySQL做为Hive的Metastore时,曾安装过MySQL,但可惜的是并没有记录整个过程。现在忽然发现MySQL不能使用了,试过网上的很多方法都不行,所以决定将MySQL卸载掉,重新安装,并记录整个过程以备再次重装MySQL。首先使用下面的命令查询已经安装的MySQL:[root@hadoop local]# rpm -qa | grep -i mysqlMySQL-clie

2014-10-05 22:05:12 1926

原创 Hadoop-2.4.1学习之创建fsimage和edits源码分析

在Hadoop中fsimage保存最新的检查点信息,edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时,已经明确了该过程根据配置文件的信息创建fsimage和edits文件,这篇文章具体分析一下创建fsimage和edits文件的源代码。

2014-09-24 15:15:37 3002

翻译 Hive学习之连接查询优化(二)

星型连接增强功能Hive-0.11.0中优化器的增强功能专注于星型模式配置中连接的有效处理。星型模式连接的初始化工作是受限制的,在该模式中所有维度表在过滤和投影后在同一时间装入内存。一部分维度表装入内存的场景还未实现。连接查询优化可以被分为三部分:·        当使用MAPJOIN时,在只有map的一个作业中执行操作符树中的map连接链。·        自动转换情况的扩展优化(在

2014-09-22 16:43:29 5764

翻译 Hive学习之连接查询优化(一)

Hive为连接查询提供了一系列的优化方法,包括优化Hive的查询执行计划以改进连接查询的效率和减少用户提示的使用等。Hive可以自动识别很多用例并自动优化它们,Hive在0.11版本中对下面的情况改进了优化器:·        连接查询的一端放进内存中,在新的优化器中:·        放进内存的一端在内存中以哈希表存在·        只有比较大的表需要扫描·        事实

2014-09-22 11:24:39 3645

原创 Hive学习之抽样(Sampling)

当数据量特别大时,对全体数据进行处理存在困难时,抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性,是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。Hive支持桶表抽样和块抽样,下面分别学习。所谓桶表指的是在创建表时使用CLUSTERED BY子句创建了桶的表。桶表抽样的语法如下:table_sample: TABLESAMPLE (BUCKET x

2014-09-18 12:59:23 24977

原创 Hadoop-2.4.1学习之NameNode -format源码分析

Hadoop-2.4.1 namenode格式化的源代码分析

2014-09-16 16:36:10 5791

翻译 Hive学习之Union和子查询

Hive中的Union查询已经使用过多次,但在使用之前都没有系统的学习过Union的语法格式(虽然在使用过程中没有出现过问题),所以现在将这一点补上。Union的语法格式如下:

2014-09-15 16:17:10 20576

空空如也

Hive基础教程

发表于 2014-09-02 最后回复 2015-07-02

swift集群存储不平衡

发表于 2015-04-08 最后回复 2015-05-20

博客之星

发表于 2014-12-30 最后回复 2015-04-08

硕士程序员薪水

发表于 2015-01-12 最后回复 2015-04-07

oracle编程都要学些什么,有什么好资料吗

发表于 2011-08-11 最后回复 2011-08-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除