hadoop
婲落ヽ紅顏誶
这个作者很懒,什么都没留下…
展开
-
hadoop配置大全(hadoop集群,hive,sqoop,ntp集群,hbase集群)
Hadoop Hadoop伪分布式 基本环境搭建 0. Vmware中网卡 桥接(bridge),NAT 桥接:宿主机 ,虚拟机 在网络上 ,等同的 ,相互都具有独立的ip地址 NAT模式:宿主机(192.168.0.3)虚拟机 (192.168.0.3) 宿主机 可以与 虚拟机 构建一个 虚拟的网络 便于实验 测试 虚拟的IP地址 1. if...转载 2019-07-03 20:10:45 · 431 阅读 · 0 评论 -
MapReduce调优总结
一、调优的目的 充分的利用机器的性能,更快的完成mr程序的计算任务。甚至是在有限的机器条件下,能够支持运行足够多的mr程序。 二、调优的总体概述 从mr程序的内部运行机制,我们可以了解到一个mr程序由mapper和reducer两个阶段组成, 其中mapper阶段包括: (1)数据的读取、 (2)map处理以及写出操作(排序和合并/sort&merge), 而reducer阶段包含: (1...转载 2019-07-25 08:48:46 · 349 阅读 · 0 评论 -
Hadoop
一、大数据(Big Data) 引言 1.什么是大数据 体量很大的数据,起步存储当量为TB级或者日均数据增长GB级。 在海量数据下,可以进行分析,挖掘,进而发现数据内在的规律,从而为企业或者国家创造价值。 2.大数据的特点(4v特性) (1) Volume:体量大 (2)Variety:样式多 数据种类多 1.1 结构化数据 1.2.半结构化数据:json、xml 1.3.非结构化数据:图片、音频...转载 2019-07-28 09:25:14 · 345 阅读 · 0 评论