竹叶青 的专栏

hadoop hive 数据挖掘 python

Hadoop2 MR-JobHistory服务介绍

1)MR-JobHistory服务目标 主要是向用户提供历史的mapred Job 查询 2)MR-JobHistory服务架构 详细解释: a)在运行MR Job时,MR 的 ApplicationMaster会根据mapred-site.xml配置文件中的配置,将MR Job的job ...

2015-05-15 11:09:59

阅读数 13088

评论数 3

Hadoop 2:Capacity Scheduler配置项说明

yarn.scheduler.capacity.A.capacity 队列A的最低保障容量(百分比)(所有队列总和相加为100) yarn.scheduler.capacity.A.maximum-capacity 队列A可以获取到的最大容量(不予保障)(集群空闲时从其他队列借取) ...

2015-05-14 14:57:47

阅读数 6897

评论数 0

大数据环境下的关联规则挖掘-赵修湘-专题视频课程

大数据集环境下的关联规则发现日益受到重视,如何在大数据环境下进行数据分析和数据挖掘成为了企业要面对的首要难题!本次课程将讲解大数据环境下关联规则挖掘面临的挑战以及应用实践。...

2014-11-29 11:42:12

阅读数 110

评论数 0

第十次 EasyHadoop公益免费技术分享

第十次 EasyHadoop公益免费技术分享 (互联网大数据与基因大数据交流活动) 2014年11月10日技术活动 EasyHadoop 技术分享 ,重新起航。 easyhadoop社区自2012年2月成立,从2012年02月25日举办第一次技术分享到2013年6月22日的第九次已经...

2014-11-11 15:00:28

阅读数 5709

评论数 0

访问劫持?访问苏宁时发生的怪事

我在浏览器里面敲入www.suning.com,结果浏览器给我跳转到了这么一个页面        页面地址:http://www.duomai.com/special/error/error.htm?site_id=83658&aid=84&euid=&t=http%3A...

2014-08-14 00:00:05

阅读数 7113

评论数 1

hive查询实战1

1)json操作 hive> select get_json_object("{\"a\":1}","$.a") from filterd_url limit 2;                OK  1  1  Tim...

2014-08-13 17:44:38

阅读数 5011

评论数 0

实现字符型进度条(pyton、java)

大家在linux上使用wget时,wget命令会向linux命令行界面输出进度条,但平时也没有太留意这些细节。最近由于需要给产品人员提供后台分析程序,虽然不需要实现界面,但为了让程序更人性化一些,于是计划在dos界面上实现进度条的输出。          实现原理:         在向标准输...

2013-12-12 15:15:19

阅读数 8787

评论数 0

python输出excel能够识别的utf-8格式csv文件

可能大家都遇到过,python在输出的csv文件中如果有utf-8格式的中文,那么在使用excel打开该csv文件时,excel将不能够有效识别出文件中的中文数据,严重时甚至不能够识别出分隔符。那么,要怎样操作才能够让excel识别出utf-8格式的中文呢?方法其实很简单,见以下代码: impo...

2013-11-27 18:24:02

阅读数 22807

评论数 0

hive partition 使用记录1

最近在使用hive的partition时,发生这么一件有意思的事情:       我们在定义hive表时,partition字段的定义为int,而在增加partition时,对partition字段的赋值却是string,很遗憾的是,hive这时并没有对字段类型进行检查,也就是说,我们的增加pa...

2013-11-27 14:46:39

阅读数 6148

评论数 0

hive自定义mapred脚本运行机制分析

1.  hive自定义mapred脚本运行机制         1.1)HQL中使用自定义mapred脚本的语法格式及案例 语法格式: FROM ( FROM src MAP expression (',' expression)* (inRowFormat)? ...

2013-09-25 14:01:19

阅读数 7639

评论数 2

linux杀死指定进程的命令

1)根据pid文件杀死进程             命令:cat test.pid | xargs kill -9             注意事项:如果是在windows上编写的shell 脚本,迁移到linux上时,一定要执行dos2unix 转换命令,将shell脚本文件格式转换为uni...

2013-06-18 23:06:56

阅读数 4671

评论数 0

Log4J日志管理类使用详解

Log4J日志管理类使用详解,java开发必备,不多说了 一、前言: log4j 是一个开放源码项目,是广泛使用的以Java编写的日志记录包。由于log4j出色的表现, 当时在log4j完成时,log4j开发组织曾建议sun在jdk1.4中用log4j取代jdk1.4 的日志工具类,但当时jd...

2013-06-18 11:10:48

阅读数 5999

评论数 0

jave eclipse开发遇上的问题

1)override问题         在学习使用maven管理项目时,尝试将一个已有的thrift项目改为maven 项目,结果在添加完依赖库之后,thrift自动生成的代码一下子报了一百多个错误,而且还全部是override错误,最初还以为是maven添加的依赖库产生的问题(由于刚学习ma...

2013-05-09 19:47:51

阅读数 5426

评论数 0

Thirft框架介绍

(转载文章,点击查看原文) Thirft框架介绍 1、前言 Thrift是一个跨语言的服务部署框架,最初由Facebook于2007年开发,2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型,然后通过一个编译...

2013-05-08 11:54:08

阅读数 5286

评论数 0

Apache Thrift Quickstart Tutorial

(转载文章,点击查看原文) Thrift is a cross language RPC framework initially developed at Facebook, now open sourced as an Apache project. This post will desc...

2013-05-08 11:42:21

阅读数 7344

评论数 0

Java版的各种Thrift server实现的比较

(转载文章,点击查看原文http://www.codelast.com/) 本文是我对这篇文章的翻译:Thrift Java Servers Compared,为了便于阅读,我将原文附于此处,翻译穿插在其中。此外,为了防止原链接在未来某一天失效后,文中的图片再也看不到的问题,我将原文中的...

2013-05-08 09:32:41

阅读数 17873

评论数 0

windows配置thrift开发环境

1)安装thrift:到thrift官网下载exe文件,然后将文件重命名为thrift.exe,拷贝到c:\windows目录下,然后就可以在dos环境下使用了            如:thrift -gen java D:\mywork\javaProject\thriftTest\test...

2013-05-07 19:50:43

阅读数 19539

评论数 4

hbase权威指南: store file合并(compaction)

hbase为了防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store file,这个过程就称之为compaction。在hbase中,主要存在两种类型的compaction:minor  compact...

2013-04-29 16:05:52

阅读数 19506

评论数 0

zookeeper客户端 和服务器连接时版本问题

在使用kafka 和zookeeper 实现实时分析程序时,由于zookeeper部署版本和分析程序导入jar包的版本不一致,导致了当实时分析程序从远程服务器连接kafka集群的zookeeper时报错,错误信息如下: 2012-12-31 10:51:41,562-[TS] INFO main...

2013-01-05 17:18:34

阅读数 89968

评论数 9

在windows搭建hive eclipse开发环境

1)安装jdk 2)安装ant      2.1)下载ant最新版本      2.2)建ant解压到安装目录      2.3)修改环境变量,添加变量:ATN_HOME ,修改path,添加:%ANT_HOME%/bin 3)在cmd中测试ant是否安装成功:     在cmd 中运...

2012-12-04 18:31:02

阅读数 14162

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭