hadoop
文章平均质量分 74
大跃ET
大数据,数据仓库,每周要看一个spark小模块或小问题
展开
-
关于KAFKA OFFSET的存储位置问题
注意:从kafka-0.9版本及以后,kafka的消费者组和offset信息就不存zookeeper了,而是存到broker服务器上,所以,如果你为某个消费者指定了一个消费者组名称(group.id),那么,一旦这个消费者启动,这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上1.概述Kafka版本[0.10.1.1],已默认将消费的 offset 迁入到了 Kafka 一个名为 __consumer_offsets 的Topic中。其实,早在 0.8.2.转载 2021-08-04 10:10:46 · 4193 阅读 · 0 评论 -
Hadoop所支持的几种压缩格式
1 gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。缺点:不支持split。应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip文件,运行mapreduce程序的时候通过多个gzip文件达到并发。hive程序,streaming程序,和java写转载 2021-07-01 14:54:22 · 1716 阅读 · 0 评论 -
【spark】通过yarn rest api 监控spark任务
yarn提供了rest api 可以监控,管理跑在yarn上的任务。可以通过这些rest api 管理,监控spark on yarn任务以下的几个简单操作:官方详细rest api地址:https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html一.spark任务监控1.监控指定应用:curl -s "http://rm2.yarn.ns1.svc.xx.com:.原创 2020-07-30 08:11:14 · 1661 阅读 · 0 评论 -
如何配置Hadoop的 Secondary节点 & NameNode节点失效恢复
第一部分: 如何设置Secondary NameNode节点(单独的) 1. 在masters文件中添加 Secondary节点的主机名。 2. 修改hdfs-default.xml 文件 dfs.http.address client148.hado转载 2012-12-31 16:32:32 · 2166 阅读 · 0 评论 -
hadoop异常--secondarynamenode 启动时 报错
Exception in thread "main" java.net.BindException: Cannot assign requested addressat sun.nio.ch.Net.bind(Native Method) at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:126)原创 2012-12-31 16:25:53 · 2506 阅读 · 1 评论 -
1.hadoop3: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied
1.hadoop3: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied把所有Datanode节点执行下面命令[hadoop@hadoop3 local]$ chown -R hadoop:hadoop hadoop-0.20.2/转载 2012-12-30 00:16:08 · 7505 阅读 · 0 评论 -
hadoop常见错误-hadoop cannot assign requested address
hadoop cannot assign requested address:解决方法:namenode与JobTrack分开部署后,在namenode端启动hadoop时报错: Caused by: java.net.BindException: Cannot assign requested address 找了很久也没找到原因,最后发现是自己理解上的错误 分开部署后其实是转载 2012-12-30 00:41:28 · 3381 阅读 · 1 评论 -
hadoop常见异常---ncompatible namespaceIDs
2010-07-21 10:12:11,987 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/admin/joe.wangh/hadoop/data/dfs.data.dir: namenode namespaceID =转载 2012-12-30 02:09:50 · 957 阅读 · 0 评论 -
地址
http://bbs.csdn.net/topics/390254604原创 2012-12-29 16:10:09 · 699 阅读 · 0 评论 -
hadoop常见问题 -localhost: Error: JAVA_HOME is not set
localhost: Error: JAVA_HOME is not set.启动start-all.sh时出现如下错误:root@ubuntu:/home/chenwq/hadoop/hadoop-0.21.0/bin# start-all.shThis script is Deprecated. Instead use start-dfs.sh and start-mapred.sh转载 2012-12-26 23:14:12 · 4375 阅读 · 0 评论