hadoop
tianjy58
这个作者很懒,什么都没留下…
展开
-
apache下载地址
https://mirrors.tuna.tsinghua.edu.cn/apache/原创 2019-10-29 13:40:29 · 156 阅读 · 0 评论 -
配置 Hive On Tez
Tez 部署底层应用简单介绍介绍:tez 是基于hive 之上,可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点,tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右,大任务7-10倍左右,根据情况不同可能不一样。对于 Tez-0.9.0 以及更高版本, Tez 需要 Apache Hadoop 版本为 2.7.0 或更高安装 Apa...原创 2019-10-28 16:22:16 · 269 阅读 · 0 评论 -
spark与tez比较
概述spark号称比mr快100倍,而tez也号称比mr快100倍;二者性能都远程mr,为什么都能远超mr?使用场景有什么区别?两者各自的优势又是在哪里?本文主要探讨这些问题为什么性能远超mr?spark与tez都是以dag方式处理数据使用场景区别?spark更像是一个通用的计算引擎,提供内存计算,实时流处理,机器学习等多种计算方式,适合迭代计算 tez作为一个框架工具...原创 2019-10-28 11:21:59 · 3074 阅读 · 0 评论 -
Hadoop 3.1.2 + Hive 3.1.1
一、安装Hadoop1.1 版本说明hadoop:3.1.2hive:3.1.1mysql:5.6.401.2 主机映射添加IP与主机名的映射关系,在/etc/hosts文件里添加如下内容(所有主机):172.31.58.154 HadoopMaster172.31.51.195 HadoopSlave01172.31.1.11 HadoopSlave02...原创 2019-10-14 13:53:23 · 518 阅读 · 0 评论