北方佳人

善始者实繁 克终者盖寡

Hive code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题修复

概述当CDH升级到5.7.1时候引入HIVE BUG。具体情况如下:对于一个存储格式为ORC的分区表,并且该表在填入数据以后还新增加了列。场景如下:create table foobar ( foo string, bar string ) partitioned by (dt string) s...

2016-07-04 17:24:50

阅读数 19116

评论数 8

Cloudera升级那些事

概述我们是采用的纯本地升级方案,所以无需开启外网(本身也非常非常不建议开外网,因为Hadoop没有配置任何的攻击防御能力)这里我是从5.4.4版本升级到最新的5.7.1。升级途中还算一路顺分,但也少不了坎坎坷坷的事情。这里一一列举下。一、Cloudera提供的两种升级方案 全自动升级 也就是说所...

2016-07-04 09:53:19

阅读数 1453

评论数 0

Hive源码编译注意事项

Hive源码编译注意事项 指定Hadoop版本 关于部分引用JAR找不到问题虽然这个错误不会影响到整个编译的正常执行 编译进度缓慢

2016-07-04 09:12:40

阅读数 3115

评论数 1

ORA-00600: internal error code, arguments: [13013], [5001], [267], [8455677], [0], [8455677], [17],

数据库重启后不定期的发生ORA-00600: internal error code, arguments: [13013], [5001], [267], [8455677], [0], [8455677], [17], [], [], [], [], []错误。这里小计一下解决办法 一、查看实...

2016-06-08 14:38:49

阅读数 1824

评论数 0

Greenplum update语法

语法和PostreSQL一致 语法UPDATE [ONLY] table [[AS] alias] SET {column = {expression | DEFAULT} | (column [, ...]) = ({expression | DEFAULT} [, ...])} [...

2016-06-08 11:29:05

阅读数 3543

评论数 0

hadoop fsck

Runs a HDFS filesystem checking utilityUsage: hdfs fsck [GENERIC_OPTIONS] [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blo...

2016-06-06 15:27:57

阅读数 881

评论数 0

Cloudera升级☞第一篇Cloudera Manager升级

概述 我们升级是从5.5.3升级到最新的5.7.0-1版本。 升级Cloudera Manager Server 升级Cloudera Manager Agent 完全离线方式升级cloudera

2016-06-03 16:08:49

阅读数 8339

评论数 0

解决DataNode Volume Failures故障

hadoop集群有一台DataNode节点发生硬件故障,由于后需需要长时间的处理,所以从Cloudera集群中剔除了该节点,在重新将该节点添加到集群时候发现DataNode节点爆DataNode 卷故障阈值警告二、解决过程2.1、排查故障排查DataNode日志发现如下错误: org.apache...

2016-06-02 13:42:11

阅读数 4071

评论数 0

Cloudera 向集群添加主机

本文将概述使用Cloudera Manager向集群中添加主机的操作。首先,我们这里是采用的离线安装模式安装的,所以对于你新的主机你必须配置好如下几个内容: 安装好JDK 安装好Cloudera Manager Agent 配置Agent指向Server 操作流程Created with Raph...

2016-06-02 11:15:36

阅读数 3407

评论数 0

Hadoop网络拓扑

详述Hadoop集群中如何进行网络拓扑的介绍

2016-05-31 15:43:10

阅读数 3764

评论数 0

Cloudera Hadoop集群添加

概述本文将详细概述使用Cloudera Manager进行Hadoop集群动态添加和删除节点注意我们这里采用的Cloudera 的C方案进行安装集群的,所以在添加节点之前务必在新增节点添加Agent服务和JDK一、准备环境 cloudera-manager-daemons,cloudera-scm...

2016-05-24 16:04:03

阅读数 1875

评论数 0

Cloudera Manager ☞ Role&Role Instance &Role Group&Service关系

简述在Cloudera Manager中 角色实例,角色,角色组,服务几者之间的关系

2016-05-12 15:57:59

阅读数 1399

评论数 0

Cloudera namenode 重启失败

Service did not start successfully; not all of the required roles started: Service has only 0 NameNode roles running instead of minimum required 1. ...

2016-05-12 11:49:19

阅读数 7501

评论数 0

Cloudera 安装概述

参照官方文档Installation Overview 包含的组件 Oracle JDK Cloudera Manager Server 和Agent 包 元数据库软件 CDH和相关的管理服务软件。 This section describes the three main installatio...

2016-04-15 20:27:01

阅读数 552

评论数 0

CDH5 安装需求和相关软件支持的版本信息

说明: 该文章只具有简单参照意义,具体你要根据你所准备安装版本查看官方文档。 本文基于CDH 5.7 Cloudera Manager 5 Requirements and Supported Versions 数据库 MySQL一定要用InnoDB作为存储 MySQL如果启用主从复制(G...

2016-04-15 20:11:57

阅读数 1238

评论数 0

在Sublime中采用markdown语法并发送笔记到Evernote中

由于Evernote笔记不支持Markdown语法。Google发现一神器。 只需要强大的sublime即可完成各种功能。插件 下载Sublime Evernote插件: SublimeEvernote部署参考:Sublime Text 变身 Evernote 大咖 sublime markd...

2016-04-02 16:48:46

阅读数 408

评论数 0

Linux 批量修改服务器密码

批量修改hadoop或者GP集群服务器密码

2016-03-31 19:04:33

阅读数 3568

评论数 0

Hadoop 2.7.2 源码导入eclipse

概述相关软件一定参照需求,JDK1.7,ProtocolBuffer 2.5.0参照BUILDING.txt提前安装相关libOracle JDK 1.7 $ sudo apt-get purge openjdk* $ sudo apt-get install software-prope...

2016-03-22 23:41:10

阅读数 1523

评论数 0

hadoop 2.7.2开发环境配置

概述本文基于ubuntu15 + eclipse4.5.2配置完成。 由于hadoop最新源码基于windows平台编译非常非常费劲,所以直接搞成ubuntu简单快捷省去N多麻烦事环境 ubuntu 15 x64 eclipse 4.5.2 Oracle JDK 1.8 Maven 3.3 参考...

2016-03-15 23:15:28

阅读数 628

评论数 0

scrapy ☞ 发送邮件配置

使用scrapy内置邮箱插件发送爬虫执行情况邮件

2016-03-08 15:29:06

阅读数 2650

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭