Hadoop
hadoop总结
IMezZ
这个作者很懒,什么都没留下…
展开
-
hadoop 回收站
Hadoop回收站trash,默认是关闭的。开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。启用回收站在core-site.xml中配置如下参数,建议设置:fs.trash.interval 1440 minutes(1天),fs.trash.checkpoint.interval120 minutes(2小时)<property><name>fs.trash.interval</name>&...原创 2022-03-02 16:51:37 · 2640 阅读 · 0 评论 -
通过yarn命令查看日志
通过yarn命令(用户要和提交任务的用户一致)1)yarn application -list -appStates ALL(这个不显示时间信息)显示所有任务。2)yarn logs -applicationId application_1493700892407_0007查看任务日志。原创 2022-02-26 22:44:08 · 5339 阅读 · 0 评论 -
hadoop集群一台机器多块磁盘存储不均问题
在hdfs-site.xml 配置文件按下面三个步骤添加参数。添加完同步至datanode节点。1、数据存储磁盘参数设置多个磁盘目录剩余磁盘空间大的在前面 <property> <name>dfs.data.dir</name> <value>/data1/dfs/dn,/mnt1/dfs/dn1,/mnt2/dfs/dn</value></property>2、datanode多存储原创 2022-01-05 17:26:57 · 1985 阅读 · 1 评论 -
namenode启动报错:OutOfMemoryError:Java heap space
1、发现问题现象:重启hadoop集群,namenode报错无法启动。报错:2、分析问题一看报错有“OutOfMemoryError:Java heap space”字眼,应该是JVM相关参数的问题,于时就去看hadoop-env.sh配置文件。配置文件设置如下:export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dh...原创 2021-11-12 14:51:53 · 2179 阅读 · 0 评论 -
搭建Telegraf+InfluxDB+Grafana监控系统
目录一、Telegraf1、Telegraf下载及安装2、修改配置文件3、连接influxdb并进行数据采集二、InfluxDB1、Influxdb的安装2、有两种使用配置文件启动InfluxDB的方法3、配置文件4、简单使用三、Grafana1、Grafana的下载2、安装3、启动服务、添加开机启动4、Grafana使用及配置登录5、...原创 2020-03-08 21:59:04 · 1563 阅读 · 1 评论 -
Hadoop基本介绍
1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。(1)Pig是一个基于Hadoop的大规模数据分析平台,Pig为复杂的海量数据并行计...转载 2018-04-11 11:24:26 · 605 阅读 · 0 评论 -
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
转自:https://blog.csdn.net/gamer_gyt/article/details/51991893写在前边的话: 最近找了一个云计算开发的工作,本以为来了会直接做一些敲代码,处理数据的活,没想到师父给了我一个课题“基于质量数据的大数据分析”,那么问题来了首先要做的就是搭建这样一个平台,毫无疑问,底层采用hadoop集群,在此之上,进行一些其他组件的安装和二次开发ha...转载 2018-05-22 17:17:32 · 1141 阅读 · 0 评论