![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
a904364908
白了头.
展开
-
Apache Hive 集成Tez引擎
Tez 简介Tez 是一个 Hive 的运行引擎,性能优于 MR。为什么优于 MR 呢?看下图。用 Hive 直接编写 MR 程序,假设有四个有依赖关系的 MR 作业,上图中,绿色是 Reduce Task,云状表示写屏蔽,需要将中间结果持久化写到 HDFS。Tez 可以将多个有依赖的作业转换为一个作业,这样只需写一次 HDFS,且中间节点较少,从而大大提升作业的计算性能。使用版本Hive: 2.3.1.hadoop: 2.7.6.Tez: 0.9.1.Java: 1.8前期准备..原创 2020-09-13 17:24:52 · 436 阅读 · 0 评论 -
解决Windows环境下Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
因为在Linux的环境下运行代码不是特别方便,所以,文章介绍的是在Windows环境下运行hadoop程序,搭配的环境是hadoop2.7.2+Windows10+eclipse. 一,搭建环境 1.将编译后的hadoop.jar包解压到非中文路径 2.Windows10环境下,可能需要在bin目录下添加文件 3.配置hadoop环境变量,配置HADOOP_HOME...原创 2018-07-16 11:35:04 · 1457 阅读 · 2 评论 -
解决hadoop重启时,hdfs停止不了,no namenode to stop问题
自己的集群启动挺长时间,有天改了文件,需要重启,在主目录下停止hdfs发现报错,no namenode to stop.再jps一下,果然没停掉.网上查找原因,发现是hadoop启动时会生成namenode/datanode/zkfc/journalnode等的pid文件,而hadoop的pid文件是默认保存在/tmp目录下的,Linux系统默认会定时去清理这个目录下的文件.所以是没有pid文...原创 2019-01-25 23:23:27 · 2676 阅读 · 1 评论