hadoop小象
lengzijian
互联网的魅力令我着了迷
展开
-
hadoop集群搭建(ip设置和jdk安装)
刚刚学习hadoop,安装有点吃力,希望通过记录过程能够给遇到同样问题的人一个答案。话不多说直接进入主题。 在公司拿来了三台电脑首先安装linux系统,这里不多说细节,唯一注意的ip设置好就可以了。下面介绍我建起hadoop集群的过程(非常详细因为是菜鸟,高手就不用看了): 1.配置ip:可以写文件,也可以用界面方式安装,这里我用的是setup命令(因为方便),运行setup出原创 2011-12-05 14:22:44 · 2378 阅读 · 0 评论 -
我是怎么玩hadoop的(二)--构造模块
在写这个模块之前,已经用过hadoop集群完成了一些小测试,但是还希望了解下更深层的东西,我想大家一定对namenode,datanode,secondary namenode,jobtracker,he tasktracker有了一定的了解,我想对我我来说也只是单纯的知道,但不上深入,今天想总结下这几个构造模块在hadoop的具体用法和意义。hadoop的守护进程包括:namenod原创 2011-12-10 14:42:18 · 1838 阅读 · 0 评论 -
hive中的正则表达式
这几天,忙着做一些测试。昨天刚刚做了一个hive的小测试,但是hive中的正则表达式写法让我痛苦不已,这里记录下问题和一些想法。背景:前几天拿来apache日志,用hive的正则进行匹配,发现匹配出来的字段算是NULL,但是我用RegexBuddy工具显示能够匹配的到啊!例子如下(我拿正常的apache日志来比较,我的apache日志格式被更改过)1、apache日志格式:127.原创 2011-12-07 10:26:23 · 15848 阅读 · 2 评论 -
hive的Specified key was too long; max key length is 767 bytes问题解决
上次安装hive时遇到很多问题,最后遗留下一个没有解决的问题,最后通过询问得以解决在这记录下:方便遇到同样问题的人:问题阐述在安装完hive后,执行:[root@localhost hive]# hiveHive history file=/tmp/root/hive_job_log_root_201112071228_90457717.txthive> 创建表:hive>原创 2011-12-06 12:33:56 · 10593 阅读 · 1 评论 -
我是怎么玩hadoop的(一)--运行自己的mapreduce
单拿标题来讲,看来有点装x,但是没有恶意,知识记录自己的学习过程,希望能碰到一些志同道合的人,一起讨论。首先,我们要理解:什么是hadoop?给人的第一感觉就一个字“云”,似乎带着点神奇的色彩,不可否认hadoop有他独特的地方,但也没那么神乎其神。他是一个开源框架,可以编写和运行分布式应用处理大规模数据,通过建立hadoop集群和运行一些mapred例子,我所感到只有就个字:“方便”、“健壮原创 2011-12-05 21:39:28 · 8043 阅读 · 0 评论 -
pig安装及问题
一篇毫无技术含量的pig安装,大家在安装pig前,想必已经安装好了hadoop,这里就不在强调java的版本和JAVA_HOME的配置问题了1.下载pig包:(我的网盘里面pig-0.9.1)http://115.com/file/dneclpetapache版本:http://pig.apache.org/2.解压文件:# tar -zxvf pig-0.9.1.原创 2011-12-05 17:59:11 · 1468 阅读 · 0 评论 -
hadoop集群搭建的常见错误
安装hadoop常见错误整理:(这里会不断地添加,也希望大家多提一些错误一起解决)1.Hadoop初始化错误INFO org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s). 这种情况对数出现在启动namenode时成功,但是运原创 2011-12-05 14:47:13 · 2486 阅读 · 0 评论 -
hadoop集群搭建(hadoop)
首先说一下配置环境:三台电脑192.168.30.149 hadoop149 namenode和jobtracker ###因为149机器稍微好一点192.168.30.150 hadoop150 datanode和TaskTracker192.168.30.148 hadoop150 datanode和TaskTracker配置ssh无需密码登陆:$ssh-keygen -原创 2011-12-05 14:31:52 · 1015 阅读 · 0 评论 -
Hive安装及问题解决
刚刚安装好hadoop迫不及待要玩下hive,所以自己找了些资料,安装了下hive,这里记录详细的安装过程和碰到的问题:1.在安装hadoop之前首先确定hadoop已经安装成功,具体安装方法请参考hadoop安装。2.下载hive版本 我下载的是 下载地址为http://hive.apache.org/releases.htm解压文件:tar -zxvf hive-0.原创 2011-12-05 16:46:43 · 4508 阅读 · 2 评论 -
11G数据的hive初测试
首先,看到标题,我想就会有人喷我,①11G对于hadoop而言不值一提②做耗时测试本没有必要,毕竟hadoop用于线下系统。我的想法:没那么复杂,只是想看下hadoop的文件处理能力和表现出的问题,只是单纯的享受这个解决问题并且得到结果的快感。不那么多废话啦!直接进入正题:1、数据来源:apache的日志,接近900万条数据,大小为11个G。2、创建表,并用正则匹配的方式导入数原创 2011-12-06 18:00:59 · 2043 阅读 · 5 评论