- 博客(12)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 带有HA功能的Hadoop Client端RPC实现原理与代码分析
带有HA功能的Hadoop Client端RPC实现原理与代码分析Leave a replycreate命令是文件系统常见的命令之一，下面以HDFS中这个PRC命令为例，说明这个HDFS RPC在Client端的执行过程。DistributedFileSystem.create() ->dfs.create()/DFSClient.create() 方法返回一个
2015-12-31 15:34:22
1538
转载 java连接hdfs ha和调用mapreduce jar示例
这篇文章主要介绍了Java API连接HDFS HA和调用MapReduce jar包,需要的朋友可以参考下Java API 连接 HDFS HA 复制代码 代码如下:public static void main(String[] args) { Configuration conf = new Configuration(); conf.set("fs.
2015-12-31 15:17:23
2334
转载 解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
问题导读1.CM的安装目录在什么位置？2.hadoop配置文件在什么位置？3.Cloudera manager运行所需要的信息存在什么位置？4.CM结构和功能是什么？1. 相关目录/var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf
2015-12-30 09:44:54
9183
转载 client如何访问HA HDFS
client如何访问HA HDFS1：实验目的A：client如何访问HA HDFSB：client如何访问HA HDFS + Federation2：client如何访问HA HDFS本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper本实验相关的had
2015-12-29 17:27:43
4618
转载 Hive 使用解析Json 文件格式
hive 0.7版本以后新增了两个函数，比原来的函数更能提高运行效率。json_tuple 使用方法与介绍 json_tuple(jsonStr, p1, p2, ..., pn) - like get_json_object, but it takes multiple names and return a tuple. All the input parameters and
2015-12-28 09:07:28
12344
转载 如何在Hive中使用Json格式数据
本文参考了：http://pkghosh.wordpress.com/2012/05/06/hive-plays-well-with-json/表示感谢！总体来说，有两大类方法：1、将json以字符串的方式整个入Hive表，然后使用LATERAL VIEW json_tuple的方法，获取所需要的列名。2、将json拆成各个字段，入Hive表。这将需要使用第三方的SerDe，例如：
2015-12-28 08:55:55
5183
转载 Linux 下批量修改后缀名
Linux 下批量修改后缀名2011-11-08 17:20:22标签：Linux 目录 修改 批量 后缀名 一.rename解决 1. Ubuntu系统下 rename 's/.c/.h/' ./* 把当前目录下的后缀名为.c的文件更改为.h的文件 2. CentOS5.5系统下 rename .c .
2015-12-23 11:15:52
756
转载 Hadoop NameNode 高可用 (High Availability) 实现解析
问题导读：1.怎样实现NameNode 主备切换？2.怎样实现NameNode 共享存储？3.NameNode 高可用运维中的注意事项有哪些？NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问
2015-12-23 09:17:11
5563
转载 hadoop 参数配置
hadoop 参数配置hadoop 参数 hadoop配置参数 hadoop优化目录[-]Hadoop参数汇总linux参数JVM参数Hadoop参数大全core-default.xmlhdfs-default.xmlyarn-default.xmlHadoop参数汇总@(hadoop)[配置]li
2015-12-18 10:04:37
11933
3
原创 Host Monitor和Service Monitor服务无法启动，可能造成的原因是什么？
Host Monitor和Service Monitor服务无法启动1.现象描述：将clouderamanager5.4.5 升级到5.5.0 后，服务器正常，而其它节点的agent 无法安装，由于无法升级，最后，只能还原到以前的版本2.还原过程：2.1将新版本采用rpm 卸载方式，将3个rpm 进行卸载；2.2 重新安装5.4.5 版本cm,并启动cm 服务器上cm 服务，ie登
2015-12-17 16:42:18
30969
转载 Cloudera Manager （centos）安装详细介绍
离线安装cloudera manager 一、 离线安装cloudera manager 1、 由于现在很多包都是在国外的服务器上面， 国内下载比较慢 可以选择离线离线安装cloudera manager 方法是 先建一个文件夹cm 然后去 manager" alt="离线安装cloudera manager">http://archive.
2015-12-14 21:09:52
1579
转载 Supervisord守护Python进程
Supervisord守护Python进程Python 2013-08-21Supervisord,Python,进程,守护 使用Python socket + HTML5 websocket写一个web聊天室，上线使用时经常无故进程就被kill掉，刚开始的时候每次聊天聊天就会断开服务器，然后手动重启进程，大家重新进入聊天室继续聊。时间长了以后，发现这样不是没有根本解决办法，因
2015-12-13 19:54:10
1454
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人