- 博客(44)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 手工安装配置Cloudera组件-Impala
安装Impala1.在所有节点安装Impala base2.在集群中安装一个impala-catalog和impala-state-store3.在所有datanode节点安装impala-server4.在部分节点安装impala-shell5.安装其他需要的组件6.环境变量的设置在/etc/defa
2014-08-31 10:24:15
1515
原创 手工安装配置Cloudera组件-hive
安装Hive1.yum安装Hive base2.yum安装hive-metastore3.yum安装hive-server2（可多客户端并发）/hive-server（不可并发）4.安装其他需要的组件，可用yum search模糊匹配下，查看有没有想要安装的组件5.环境变量的设置在/etc/default/hive*文
2014-08-31 10:20:07
1069
原创 手工安装配置Cloudera组件-Hadoop
安装repohttp://archive-primary.cloudera.com/cdh/存放着cdh1-3的所有文件http://archive-primary.cloudera.com/cdh4/存放着cdh4的所有文件http://archive-primary.cloudera.com/cdh5/存放着cdh5的所有文件安装可以先从上边的地址下载对应的R
2014-08-31 10:12:07
1973
原创 执行Cloudera相关命令时出现JAVA_HOME not set
[root@impalaa init.d]# service hadoop-hdfs-namenode startStarting Hadoop namenode:[ OK ]Error: JAVA_HOME is not set and could not be found.[root@impalaa init.d]# find / -name hadoop-env.sh/usr/l
2014-08-30 11:25:10
6364
原创 Sqoop2编译时出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter
1.编译到docs的时候，出现下面的错误java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter at java.lang.Class.getDeclaredConstructors0(Native Method) at java.lang.Class.privateGe
2014-08-26 10:22:25
3356
原创 NativeCodeLoader: Unable to load native-hadoop library for your platform
至今为止，搭建的所有集群里都有这个错误：
2014-08-24 17:56:24
18403
13
原创 Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException
新搭建了个集群，搭建完了，运行2014-08-24 02:24:02,456 INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl: Application application_1408860487557_0002 failed 2 times due to AM Container for appat
2014-08-24 15:26:58
14917
1
原创 HDFS Rolling Upgrade
HDFS Rolling UpgradeIntroductionHDFS 滚动升级允许单独升级每一个HDFS进程。例如，DataNode可以独立于NameNode升级。一个NameNode可以独立于其他的NameNode升级。NameNode可以独立于DataNode和JournalNode升级。Upgrade在Hadoop V2中，HDFS支持NameNode服务的HA和前后兼容
2014-08-22 10:35:19
2724
原创 HDFS NFS Gateway
HDFS NFS GatewayOverviewNFS Gateway支持NFSv3，允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统。目前，NFS Gateway支持和启用了下面的使用模式：1.用户可以在基于NFSv3客户端兼容的操作系统上的本地文件系统上浏览HDFS文件系统。2.用户可以从挂载到本地文件系统的HDFS文件系统上下载文件。3
2014-08-21 16:45:33
14858
原创 dfs.datanode.max.xcievers
dfs.datanode.max.xcievers 256dfs.datanode.max.xcievers 对于datanode来说，就如同linux上的文件句柄的限制，当datanode 上面的连接数操作配置中的设置时，datanode就会拒绝连接。一般都会将此参数调的很大，40000+左右。
2014-08-21 14:36:10
8990
原创 Cloudera Manager安装集群注意记录
1．千万不要删除hosts文件里关于localhost的配置2．安装完之后无法打开7180端口的网址，防火墙开着呢3．安装老失败，看日志是找不到archive.cloudera.com,在host文件加了nameserver 8.8.8.8，就好了。这是谷歌的DNS地址4．Host inspector 过程生成的文件/var/run/cloudera-scm-agent/process
2014-08-21 14:32:20
5208
原创 Hadoop指标框架V2
Package org.apache.hadoop.metrics2 Metrics 2.0Interface SummaryMetricsCollectorThe metrics collector interfaceMetricsInfoInterface to provide immutable meta info for
2014-08-21 14:27:55
2210
原创 Hadoop指标框架 V1
Package org.apache.hadoop.metrics这个包定义了一个用来报告性能测量的信息的API。描述这个包定义了一个用来报告性能测量的信息的API。API是抽象的,这样它就可以被各种度量客户机库实现。客户端的选择是可以配置的，同一个应用程序的不同模块可以用不同的指标实现库。子包org.apache.hadoop.metrics.spi抽象的服务接口
2014-08-21 14:22:06
1093
原创 Hadoop2.4.1编译记录
1.环境说明[code lang="xml"]centos6.4 64bit[/code]2.更新系统安装包[code lang="xml"]yum update[/code]3.安装[code lang="xml"]yum -y install svn git ncurses-devel gcc* lzo-devel zlib-devel autoconf
2014-08-21 14:16:55
1555
原创 HDFS多用户时的权限问题
今天用Cloudera Manager安装Hive时老不成功，不能初始化数据库表，遇到很多问题，最后手工初始化，解决的，但是挡在hive命令行执行写入类命令比如创建数据库或表时出现以下问题：[code lang="xml"]14/07/23 01:07:14 ERROR hive.log: Got exception: org.apache.hadoop.security.Acce
2014-08-21 14:06:52
11734
原创 Hadoop Archive管理大量小文件
1.usage[code lang="xml"]1.usage[code lang="xml"][hadoop@hadoop1 ~]$ hadoop archivearchive -archiveName NAME -p * [/code]2.use case：Archive[code lang="xml"][hadoop@hadoop1 ~]$ hadoop
2014-08-21 13:59:41
1585
原创 NameNode多次Format后DataNode无法启动的问题
1.NameNode格式化两次后，DataNode无法启动，查看日志，有如下错误：[code lang="java"]2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode
2014-08-21 13:47:58
5653
2
原创 HDFS多硬盘挂载
环境说明9个节点，7个DataNode，每个DataNode有3块硬盘，两块是后来加的，挂载在系统所在文件系统。hdfs-site.xml配置[code lang="xml"] dfs.datanode.data.dir /home/hadoop/develop/hadoop/hdfs/data, /home/hadoop/develop
2014-08-21 13:46:34
10327
原创 Centralized Cache Management in HDFS
Centralized Cache Management inHDFSOverviewHDFS中的集中式缓存管理是一个显式的管理缓存的机制，它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信，命令其在堆外缓存里缓存Block。HDFS中的集中式缓存管理有许多重要的优势。1.明确地防止频繁使用的数据被赶出内存。当工作集的
2014-08-21 13:30:24
2327
原创 HDFS Short-Circuit Local Reads
HDFS Short Circuit Local ReadsBackgroundHDFS中，读操作通常通过DataNode。因此，当一个客户端访问DataNode读一个文件的时候，DataNode从磁盘中读出该文件，然后通过TCK Socket发送到客户端。所谓的“short-circuit”是绕开DataNode，允许客户端直接读一个文件。明显地，当客户端与数据在同一地点时可能会出现这种
2014-08-21 09:09:02
10329
原创 Hadoop HDFS over HTTP 2.4.1 - Using HTTP Tools
Security开箱即可用的HttpFS既支持pseudo认证，也支持Kerberos HTTP SPNEGO认证。Pseudo Authentication用Pseudo认证时，用户名必须在HttpFS URL的查询参数里通过user.name=指定。例如：$ curl"http://:14000/webhdfs/v1?op=homedir&user.name=babu"Ke
2014-08-20 17:14:18
1054
原创 Hadoop HDFS over HTTP 2.4.1 - Server Setup
Hadoop HDFS over HTTP 2.4.1 -Server Setup本篇文章介绍了如何快速建立一个带Pseudo认证的HttpFS。RequirementsJava 6+ Maven 3+Install HttpFS~ $ tar xzfhttpfs-2.4.1.tar.gzConfigure HttpFS默认情况下，HttpFS假设Hadoop的配
2014-08-20 16:47:29
1491
原创 Hadoop HDFS over HTTP
Hadoop HDFS overHTTP-Documentation Sets2.4.1HttpFs是一个提供REST HTTP的方式支持所有的HDFS文件系统操作的方式。它与webhdfsREST HTTP API彼此协作。HttpFS可以被用来在运行不同版本的Hadoop集群间传递数据（克服了RPC版本不同的问题），例如使用HadoopDistCP工具。HttpFS可以被用来访问有
2014-08-20 15:30:03
2117
原创 WebHDFS REST API
Document ConventionsMonospacedUsed for commands, HTTP request and responses and code blocks.User entered values.[Monospaced]Optional values. When the va
2014-08-20 14:30:25
5624
原创 C API libhdfs
C API libhdfsOverviewLibhdfs是一个基于C的HDFS的JNI。它为一部分HDFS的API提供了一个C的 API，以使用C来管理HDFS文件和文件系统。Libhdfs是Hadoop发行版的一部分，预编译文件是$HADOOP_PREFIX/libhdfs/libhdfs.so。The APIsLibhdfs APIs是下面的一部分：Libhdfs的头文件
2014-08-19 14:14:05
2249
原创 HFTP Guide
HFTP GuideIntroductionHDFS是一个可以让你从远程HDFS集群读取数据的Hadoop文件系统的实现。数据读取通过HTTP，数据都在DataNode上。HFTP是一个只读的文件系统，如果你试图用它写或者修改文件系统的状态，将会抛出一个错误。如果你用多个不同版本的HDFS集群，然后你需要在集群之间移动数据的话，HFTP是非常有用的。HFTP在不同HDFS版本之间都是兼
2014-08-19 13:23:42
2024
原创 HDFS Quotas Guide
HDFS Quotas GuideOverviewHDFS允许管理员为多个每个目录设置使用的命名空间和空间的配额。命名空间配额和空间配额独立操作，但是这两种类型的配额的管理和实现非常类似。Name Quotas命名空间配额是一个目录树中该目录下的文件和子目录数量的硬限制。如果超出配额，文件和目录会创建失败。配额会与重命名的目录保持联系。如果重命名操作导致违反配额限制，操作将会失败。
2014-08-19 11:49:45
1048
原创 HDFS Permissions Guide
HDFS Permission GuideOverviewHDFS实现了一个文件和目录权限模型，拥有很多POXIS模型的影子。每个文件和目录与一个所有者和一个用户组相关联。文件或目录有各自的用户权限，用户包括所有者，所有者同组的其他用户，所有其他的用户。对于文件来说，r权限代表读文件，w权限代表写或者追加数据到文件。对于目录，r表示可以列出目录的内容，w权限代表可以创建或者删除文件或目录，
2014-08-19 10:25:24
2372
原创 Offline Image Viewer Guide
Overview离线Image查看器是一个将HDFS FsImage文件的内容以人类可读的格式输出以允许离线的分析和检查一个Hadoop集群的命名空间。这个工具能够相当快速地处理非常大的image文件，将其转换为几个输出格式中的一个。这个工具在Hadoop版本16之后被增加以处理布局格式。如果此工具不能够处理一个image文件，它将干净地退出。离线Image查看器不需要Hadoop集群正在运行
2014-08-18 12:45:12
1492
原创 Offline Edits Viewer Guide
Offline Edits Viewer GuideOverview离线的Edits查看器是一个解析Editslog文件的工具。当前程序需要用于不同格式的转换，包括人类可读的和比本地二进制格式更易编辑XML文件。此工具可以解析Hadoop0.18和机器之后版本的edits格式。这个工具只操作文件，不需要Hadoop集群正在运行。数据格式支持：1.Binary：Had
2014-08-18 10:32:33
1299
原创 HDFS Architecture
HDFS ArchitectureIntroductionHDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为
2014-08-17 16:48:31
1876
原创 HDFS Snapshots
概述HDFS快照是只读的文件系统的时间点的复制。快照可以照文件系统的一部分或者整个文件系统。快照的常见用例是数据备份，防止用户错误和灾难恢复。HDFS快照的实现是高效的：1.快照的创建时瞬间的：包括inode查找的时间，代价是O(1)。2.只有在有相对于快照的修改是才耗费内存：内存使用时O(M)，M是修改的文件/目录的数量。3.快照不会影响正
2014-08-17 11:11:06
1238
原创 JAAS Authentication Example
例子程序来源于Java文档。1． 配置Kerberos的Server端，配置KDC（kdc.conf）和Server（krb5.conf）。2． 增加一个Principal，一个用于程序测试。3． 将JassAcn.java和Jaas.conf文件拷贝到一个文件夹。4． Javac编译JassAcn.java文件5． 用下面的命令执行class文件，替换成自己的配置
2014-08-16 14:41:44
2015
原创 JAAS Authorization文档
本指南扩展了在JAAS Authentication文档中的程序和policy文件，展示了JAAS Authorization组件，这个组件确保被认证的调用者对后续的安全敏感的操作有访问控制的权利（权限）。因为授权组件首先需要用户认证操作完成，请先阅读JAAS Authentication的doc。本教程剩下的部分包含目录列出的内容：如果你想先看下教程代码的运行，你可以直接跳到运行代码的部
2014-08-16 14:35:01
2961
原创 Jaas Authentication文档翻译
JAAS AuthorizationJava认证和授权服务是Java 2中的一个可选包。JAAS被用来实现两个目的：1.用户认证，为了可靠和安全的确认当前谁在运行Java代码，不管代码是以一个程序运行，还是一个applet，一个bean或者一个servlet。2.用户的授权，确保他们对需要执行的动作有访问控制的权利（权限）。这个部分提供了一个认证组件的初
2014-08-16 14:14:57
2125
原创 HDFS ViewFs配置
1.core-site.xml文件 fs.defaultFSviewfs://mycluster dfs.journalnode.edits.dir/home/hihadoop/hadoop/jns
2014-08-15 08:21:25
3013
原创 HDFS HA+Federation配置
两个nameservice，ns1和ns2，有两个高可用的NameNode。1.core-site.xml文件 fs.defaultFS hdfs://ns1 dfs.journalnode.edits.dir /home/hihadoop/hadoop/jns
2014-08-15 08:18:49
1730
原创 ViewFs Guide
简介文件浏览系统（ViewFs）提供了一个管理多个Hadoop文件系统命名空间（或者叫Namespace Volume）的方式。它对于有多个NameNode的联邦集群特别有用。ViewFs与Unix/Linux系统中client side mount tables类似。ViewFs可被用来创建个人命名空间视图，也可以每个集群一个公共的试图。本指南描述了，在有多个集群的Hadoop系统中，每
2014-08-15 08:18:14
2308
原创 Hadoop 2.5.0新特性和改进
Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本，建立在之前稳定的发布版本2.4.1之上。主要特性和改进：1.Commona)使用HTTP代理服务器时认证改进。当通过代理服务器使用WebHDFS时这是非常有用的。b)增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。c)
2014-08-13 16:03:12
3723
3
原创 HDFS Federation
HDFS联邦本指南提供了一个HDFS联邦特性的综述，以及如何配置和管理联邦的集群。背景HDFS有两个主要的层次：1.Namespacea)包含很多的目录，文件和blockb)他提供所有的文件系统操作像创建，删除，修改该和list文件和目录的命名空间2.Block Storage Service有两个部分a)
2014-08-13 13:57:43
1306
Exactly Once Delivery and Transactional Messaging in Kafka
2019-02-27
快学Scala(Java核心技术的作者最新力作)
2014-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人