![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 70
hijk139
这个作者很懒,什么都没留下…
展开
-
单节点伪分布式hadoop的安装与配置
单节点伪分布式hadoop的安装与配置 安装需要两个先决条件,java版本1.6以上和ssh登录本机不需要输入密码,不同版本的hadoop安装方法不同,注意要通过apache网站的匹配安装说明进行安装 1,安装java Install java rpm -ivh jdk-7u7-linux-x64.rpm [root@linux2 ~]# rm /usr/bin/java rm:原创 2012-12-17 13:57:35 · 1750 阅读 · 0 评论 -
hadoop参数说明
一般来说,hadoop主要有三个默认参数文件,分别为core-default.xml,hdfs-default.xml,mapred-default.xml。其它需要用户配置的参数文件为core-site.xml,hdfs-site.xml,mapred-site.xml,下面分别介绍下相关参数的含义 三个重要配置文件 1,core-site.xml [node1 conf]$原创 2013-03-05 16:17:49 · 3880 阅读 · 0 评论 -
flume写入hadoop hdfs报错 Too many open files
故障现象: [hadoop@dtydb6 logs]$ vi hadoop-hadoop-datanode-dtydb6.log at java.io.RandomAccessFile.(RandomAccessFile.java:233) at org.apache.hadoop.hdfs.server.datanode.FSDataset.get原创 2013-02-17 16:37:34 · 3725 阅读 · 0 评论 -
hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256
hadoop报错导致flume无法写入日志文件,hadoop报错如下xceiverCount 258 exceeds the limit of concurrent xcievers 256 问题描述:报错具体如下 2013-01-21 00:00:07,547 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Receiv原创 2013-01-22 16:03:48 · 2434 阅读 · 0 评论 -
flume报错 Configured capacity is 100000000 but the checkpoint file capacity is 1000000
最近flume运行不是很稳定,本次由于hadoop不能写入,导致flume报错,Configured capacity is 100000000 but the checkpoint file capacity is 1000000,重启flume后问题仍然存在。 1,详细报错如下: 22 Jan 2013 11:07:42,568 INFO [pool-7-thread-1] (or原创 2013-01-22 14:20:16 · 3566 阅读 · 0 评论 -
pig分析日志脚本(1) 统计行数和单词个数wordcount
--统计数据的行数 cd hdfs:/// A = LOAD '/logdata/2012*/*/nohup_*' AS (name:chararray) ; B = GROUP A BY name; C = FOREACH B GENERATE group, COUNT(A); D = ORDER C BY ($1); E = FILTER D BY $1 > 200;原创 2013-01-31 16:06:01 · 5027 阅读 · 0 评论 -
flume-ng 问题处理(1)
1,flume日志报错,同时没能正常收集相关日志文件 Caused by: org.apache.flume.ChannelException: Space for commit to queue couldn't be acquired Sinks are likely not keeping up with sources, or the buffer size is too tight原创 2013-01-04 16:17:40 · 10189 阅读 · 0 评论 -
flume ng 1.3 安装配置方法
业务系统需要收集监控系统日志,想到了hadoop的flume。经过试验,虽说功能不算足够强大,但基本上能够满足功能需求。Flume 是一个分布式、可靠和高可用的服务日志收集工具,能够和hadoop,hive等配置完成日志收集,存储,分析处理等工作,更详细的介绍可以参见apache网站。下面介绍下简单的安装配置方法 1,网上下载flume-ng安装包,分别部署在收集和接收日志文件的服务器上,服原创 2012-12-17 17:00:41 · 10396 阅读 · 12 评论 -
install cluster hadoop 安装集群版hadoop
前期准备 1,每台主机均已上传并解压相关软件,并安装jdk 1.6版本以上,具体方法可以参照上篇文章。 2,配置ssh互通,本质就是把本机的.ssh/id_rsa.pub文件传输到本机和远程主机.ssh/authorized_keys中 2.1 配置从master到其它主机无密码登录,理论上只设置此步骤即可 [hadoop@linux1 ~]$ ssh-keygen -t rsa原创 2012-12-17 14:33:10 · 2547 阅读 · 1 评论 -
hadoop集群在线添加datanode
1,按照如下方法配置安装hadoop服务器,完成准备配置 http://blog.csdn.net/hijk139/article/details/8307343 2,修改master主机的slave配置,添加所需的dataname的主机名或者IP地址 3,启动datanode节点上的相关进程 $ cd path/to/hadoop $ bin/hadoop-daemon原创 2014-04-01 10:17:45 · 2415 阅读 · 0 评论