厚积而薄发

无数风雨的洗礼才能使你绽放……

排序:
默认
按更新时间
按访问量

PIG执行MR时报Connection refused错误

2015-01-23 09:45:56,132 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.map.tasks is deprecated. Instead, use mapreduce.job.ma...

2015-01-23 11:04:37

阅读数:1825

评论数:0

Solr安装

本文介绍的是Solr--4.4.0的安装 1.安装jdk环境(1.6及以上)及tomcat 2.下载官网solr的安装包solr-4.4.0.tgz并解压(此处以SOLR_DIR表示) 3.复制SOLR_DIR/dist/solr-4.4.0.war 到tomcat的webapps目录下(tomc...

2013-09-24 12:34:46

阅读数:12232

评论数:0

HBase使用优化(持续更新)

这里只准备介绍我实际操作中遇到的一些使用优化或解决办法,想大致了解hbase优化的同学可以参考我之前转載的几篇博文。 1.第一个我想说的是HBase的写操作,api层面上的优化(比如批量写,关闭wal之类的)我这里就不啰嗦了,我想要说的是rowKey的设计,这个问题一般会跟io的大小息息相关,io...

2013-07-18 10:27:30

阅读数:16213

评论数:0

Flume 1.3.1 启动脚本出错解决方法

在做批量部署和启动flume(flume-1.3.1)的时候,发现有些机器无法自启动,检查时发现启动时报错如下 /opt/local/flume-1.3.1/bin/flume-ng: line 81: syntax error in conditional expression: unexpe...

2013-07-04 18:02:51

阅读数:11514

评论数:0

HBase 官方文档0.97.0

HBase     官方文档中文版0.97.0 Copyright © 2012 Apache Software Foundation。保留所有权利。 Apache Hadoop, Hadoop, MapReduce, HDFS, Zookeeper, HBase 及 H...

2013-05-29 17:57:55

阅读数:10677

评论数:0

Storm教程(翻译)

原文:https://github.com/nathanmarz/storm/wiki/Tutorial 教程 在这个教程里面我们将学习如何创建Topologies,并且把topologies部署到storm的集群里面去。Java将是我们主要的示范语言, 个别例子会使用python以演示sto...

2013-04-11 14:39:47

阅读数:21383

评论数:0

Flume OG 与 Flume NG 的对比

很久没接触flume了,刚掀开官网一看,发现flume已然不是以前的那个flume了,其实早在flume技术群就听到NG这个字眼,以前没特注意,今天做了些对比,发现flume确实有了投胎换骨般的改变。首先介绍下Flume OG & Flume NG这两个概念 Flume OG:Flume...

2013-04-09 16:36:02

阅读数:7087

评论数:1

Hadoop Map/Reduce教程

Hadoop Map/Reduce教程 目的 先决条件 概述 输入与输出 例子:WordCount v1.0 源代码 用法 解释 Map/Reduce - 用户界面 核心功能描述 Mapper Reducer Partitioner...

2013-03-18 00:17:16

阅读数:4805

评论数:0

如何在界面定义数据库schema并自动生成数据库表、并支持智能导入数据

我现在想做这么一个东西,有点类似于数据交换,就是在前台界面定义数据表schema,然后在指定的数据库(最好能支持多种数据库)能自动建表,并能导入数据,比如数据可能都是字符串类型的,但是能通过前台定义的schema能自动转换类型并插入到数据库。望各位大仙能指导下,或者有没有现成的开源的东西可借鉴?....

2012-09-13 10:38:26

阅读数:1

评论数:0

HBase 官方文档0.90.4

HBase 官方文档0.90.4 Copyright © 2010 Apache Software Foundation, 盛大游戏-数据仓库团队-颜开(译) Revision History Revision 0.90.4 配置,数据模型使...

2012-07-16 15:47:17

阅读数:3511

评论数:0

hadoop集群升级手札

之前集群的配置为hadoop-0.20.3,hbase-0.90.4,zookeeper-3.3.4,hive-0.8.1。hadoop还算稳定,基本没什么bug,而hive基于hbse查询时真是问题百出,hbase各种bug,比如丢数据,丢表,regionserver频繁宕机,各种打补丁,改错误...

2012-06-29 11:51:37

阅读数:9554

评论数:2

Java GC(垃圾回收)

1.java中GC     即垃圾收集机制是指jvm用于释放那些不再使用的对象所占用的内存。java语言并不要求jvm有gc,也没有规定gc如何工作。不过常用的jvm都有gc,而且大多数gc都使用类似的算法管理内存和执行收集操作。     垃圾收集的目的在于清除不再使用的对象。gc通过确定对象...

2012-06-20 11:09:56

阅读数:3390

评论数:0

HBase节点故障YouAreDeadException Server REPORT rejected

hbase性能测试,加载了一个晚上的数据,早上来时发现一个节点挂掉了,其他一切正常。 查看日志,发下如下问题 12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop...

2012-06-20 10:58:13

阅读数:15742

评论数:0

HBase MapReduce与Speculative Task

Speculative Task(推测式任务)是mapreduce框架中一个比较重要的优化策略。当某个server某个时间段处于忙碌状态而无法快速完成某个task(当然也可能是server本身性能低下),从而拖延了整个job的完成进度,此时若启用Speculative Task策略,jobtack...

2012-06-19 16:43:16

阅读数:5349

评论数:0

HBase中Regionserver与Master时间不一致导致RegionServer无法启动ClockOutOfSyncException

启动HBase的时候,无法启动RegionServer,查看日志,错误如下 2012-06-13 09:33:40,057 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: Master rejected startup beca...

2012-06-13 18:33:06

阅读数:26926

评论数:0

Hadoop Map/Reduce内存限制

如何设置hadoop  Map/Reduce任务的内存限制?   Parameter Type Meaning mapred.cluster.map.memory.mb set by admin, cluster-wide Cluste...

2012-06-13 17:43:44

阅读数:6873

评论数:0

Flume数据推送(Push)

一直都是用flume的pull方式收集日志数据,为了便于以后对业务系统实时日志收集的扩展,今天研究了下push方式的日志收集。   1.首先agent端应该配置以下几种source(监听TCP/UDP端口):     syslogUdp(port) 监听Udp端口...

2012-05-28 18:49:03

阅读数:6033

评论数:0

Flume agent端event重复发送(数据暴增不一致)的问题

一直用flume做数据收集,用了好一阵子都没出现数据误差的问题,今天在导入数据的时候却突然出现了数据暴增的问题,查看原始数据文件,只有几十万条数据,可却收集到了几百万的event,而且还在持续的增加。很奇怪,首先以为是插件更新的问题,后来换成最原始的console作为Collector的sink,...

2012-05-28 18:28:13

阅读数:4549

评论数:0

HBase中LeaseException及ClosedChannelException解决办法

随着数据量的增大,HIVE查询HBase的时候又出现了scan数据缓慢的问题,上次是因为跨网段读数据没有设置client端cache,这次是在HBase regionserver的log中出现了如下错误:   org.apache.hadoop.hbase.regionserver.Lease...

2012-05-28 17:22:51

阅读数:7384

评论数:0

Hive基本使用①

1.启动Hive $HIVE_HOME/bin/hive    如果使用内嵌Derby数据库作为metastore(本地metastore),那么仅支持单用户,而且在不同目录下运行hive(如果设置了hive的path),其metastore所在目录也不一样。建立使用独立metastore...

2012-05-21 18:26:38

阅读数:7872

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭