自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 带有HA功能的Hadoop Client端RPC实现原理与代码分析

带有HA功能的Hadoop Client端RPC实现原理与代码分析 Leave a reply create命令是文件系统常见的命令之一,下面以HDFS中这个PRC命令为例,说明这个HDFS RPC在Client端的执行过程。 DistributedFileSystem.crea...

2015-12-31 15:34:22 1279 0

转载 java连接hdfs ha和调用mapreduce jar示例

这篇文章主要介绍了Java API连接HDFS HA和调用MapReduce jar包,需要的朋友可以参考下 Java API 连接 HDFS HA 复制代码 代码如下: public static void main(String[] args) {   Configu...

2015-12-31 15:17:23 2176 0

转载 解析Cloudera Manager内部结构、功能包括配置文件、目录位置等

问题导读 1.CM的安装目录在什么位置? 2.hadoop配置文件在什么位置? 3.Cloudera manager运行所需要的信息存在什么位置? 4.CM结构和功能是什么? 1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/l...

2015-12-30 09:44:54 8513 0

转载 client如何访问HA HDFS

client如何访问HA HDFS 1:实验目的 A:client如何访问HA HDFS B:client如何访问HA HDFS + Federation 2:client如何访问HA HDFS 本实验环境搭建指导:HDFS HA系列实验之二:HA+Journal...

2015-12-29 17:27:43 4018 0

转载 Hive 使用解析Json 文件格式

hive 0.7版本以后新增了两个函数,比原来的函数更能提高运行效率。 json_tuple   使用方法与介绍  json_tuple(jsonStr, p1, p2, ..., pn) - like get_json_object, but it takes multiple nam...

2015-12-28 09:07:28 12166 0

转载 如何在Hive中使用Json格式数据

本文参考了:http://pkghosh.wordpress.com/2012/05/06/hive-plays-well-with-json/ 表示感谢! 总体来说,有两大类方法: 1、将json以字符串的方式整个入Hive表,然后使用LATERAL VIEW json_tuple的方法,...

2015-12-28 08:55:55 4492 0

转载 Linux 下批量修改后缀名

Linux 下批量修改后缀名 2011-11-08 17:20:22 标签:Linux 目录 修改 批量 后缀名     一.rename解决  1.  Ubuntu系统下  rename 's/.c/.h/'  ./*  把...

2015-12-23 11:15:52 649 0

转载 Hadoop NameNode 高可用 (High Availability) 实现解析

问题导读: 1.怎样实现NameNode 主备切换? 2.怎样实现NameNode 共享存储? 3.NameNode 高可用运维中的注意事项有哪些? NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDF...

2015-12-23 09:17:11 3489 0

转载 hadoop 参数配置

hadoop 参数配置 hadoop 参数 hadoop配置参数 hadoop优化 目录[-] Hadoop参数汇总 linux参数 JVM参数 Hadoop参数大全 core-default.xml hdfs-default.xml yarn-def...

2015-12-18 10:04:37 8502 2

原创 Host Monitor和Service Monitor服务无法启动,可能造成的原因是什么?

Host Monitor和Service Monitor服务无法启动 1.现象描述:将clouderamanager5.4.5 升级到5.5.0 后,服务器正常,而其它节点的agent 无法安装,由于无法升级,最后,只能还原到以前的版本 2.还原过程: 2.1将新版本采用rpm 卸载方式,将3个r...

2015-12-17 16:42:18 25901 0

转载 Cloudera Manager (centos)安装详细介绍

离线安装cloudera  manager  一、   离线安装cloudera  manager       1、 由于现在很多包都是在国外的服务器上面, 国内下载比较慢 可以选择离线离线安装cloudera manager         方法是 先建一个文件夹cm 然后去  manage...

2015-12-14 21:09:52 1406 0

转载 Supervisord守护Python进程

Supervisord守护Python进程 Python 2013-08-21 Supervisord,Python,进程,守护 使用Python socket + HTML5 websocket写一个web聊天室,上线使用时经常无故进程就被kill掉,刚开始的时候每次聊天聊天就会...

2015-12-13 19:54:10 1229 0

提示
确定要删除当前文章?
取消 删除