![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 80
worldchinalee
这个作者很懒,什么都没留下…
展开
-
Hadoop/Yarn的日志清理
Hadoop/Yarn的日志清理可以分为两个子话题讨论:Hadoop/Yarn的本地日志(非Yarn Container生成的日志)Yarn的Container生成的日志我们这里讨论的日志清理并不是通过定时的日志删除命令去实现,这一做法显然优雅, 具体的做法下面会分别进行讨论。1. Hadoop/Yarn本地日志的清理Hadoop/Yarn使用log4j进行日志输出,所以对于它们本地日志的清理,最好的方式是通过修改log4j的配置配置文件,以rolling的方式写入日志。Hadoop/Yarn转载 2021-03-15 10:40:57 · 2924 阅读 · 0 评论 -
同步binlog并上传到hdfs
#!/bin/bash# #echo "执行节点"`hostname`# 正 时ip=$1portc=4044if [ $# -eq 4 ] ; then portc=$2yearId=${3} dateId=${4} startTime=${4}" 00:00:00" endTime=${4}" 23:59:59"else echo "输入参数有误:<...原创 2019-09-02 14:02:00 · 405 阅读 · 1 评论 -
HDFS error:Warning: fs.defaultFS is not set when running “ls” command.
By Adamhuan | 2018年1月28日2 Comments问题如题所示,你可能无法访问到HDFS中的数据。具体如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2...转载 2018-08-29 14:01:12 · 4683 阅读 · 0 评论 -
Enabling HDFS/YARN HA and Other CDH Components to Use HDFS HA with Cloudera Manager 5.2
Enabling HDFS HA Configuring HBase to Use HDFS HAnothing to doUpgrading the Hive Metastore to Use HDFS HA Configuring Hue to Work with HDFS HAadd HttpFS role instance under HDFS R...转载 2018-07-27 14:31:28 · 387 阅读 · 0 评论 -
Java连接hdfs指定用户名
http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/HDFS客户端的权限错误:Permission denied搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文...转载 2018-07-09 17:27:42 · 13674 阅读 · 8 评论 -
hdfs获取输入流跟踪
测试代码如下:从上面例子可以看出fs对象open方法获取输入流对象,那么获取输入流对象可以获取什么信息呢?通过跟踪我们可以看出输入流信息非常丰富,比如:namenode信息,block块信息,大小,是否完整,块信息,还有远程通信的代理对象信息等。那么就让我们跟踪了解其原理:首先fs对象调用open方法,设置缓存大小为4096,相当于磁盘一个簇的大小,(我认为设置这样的大小速度效率应该为佳),返回F...转载 2018-06-25 11:39:52 · 415 阅读 · 0 评论 -
解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
问题导读1.CM的安装目录在什么位置?2.hadoop配置文件在什么位置?3.Cloudera manager运行所需要的信息存在什么位置?4.CM结构和功能是什么?1. 相关目录/var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件(相关服务的及CM的)。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cm...转载 2018-06-04 16:51:36 · 2440 阅读 · 0 评论 -
Flume中的HDFS Sink配置参数说明
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。channeltypehdfspath写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix默认值:FlumeData转载 2017-09-22 13:59:31 · 377 阅读 · 0 评论 -
关于mapreduce的切割
public List getSplits(JobContext job) throws IOException { StopWatch sw = new StopWatch().start(); long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); long maxSize =原创 2017-08-03 22:37:49 · 421 阅读 · 0 评论