![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
婲落ヽ紅顏誶
这个作者很懒,什么都没留下…
展开
-
hadoop配置大全(hadoop集群,hive,sqoop,ntp集群,hbase集群)
HadoopHadoop伪分布式基本环境搭建0. Vmware中网卡 桥接(bridge),NAT 桥接:宿主机 ,虚拟机 在网络上 ,等同的 ,相互都具有独立的ip地址 NAT模式:宿主机(192.168.0.3)虚拟机 (192.168.0.3) 宿主机 可以与 虚拟机 构建一个 虚拟的网络 便于实验 测试 虚拟的IP地址1. if...转载 2019-07-03 20:10:45 · 452 阅读 · 0 评论 -
MapReduce调优总结
一、调优的目的充分的利用机器的性能,更快的完成mr程序的计算任务。甚至是在有限的机器条件下,能够支持运行足够多的mr程序。二、调优的总体概述从mr程序的内部运行机制,我们可以了解到一个mr程序由mapper和reducer两个阶段组成,其中mapper阶段包括:(1)数据的读取、(2)map处理以及写出操作(排序和合并/sort&merge),而reducer阶段包含:(1...转载 2019-07-25 08:48:46 · 367 阅读 · 0 评论 -
Hadoop
一、大数据(Big Data)引言1.什么是大数据体量很大的数据,起步存储当量为TB级或者日均数据增长GB级。在海量数据下,可以进行分析,挖掘,进而发现数据内在的规律,从而为企业或者国家创造价值。2.大数据的特点(4v特性)(1) Volume:体量大(2)Variety:样式多 数据种类多1.1 结构化数据1.2.半结构化数据:json、xml1.3.非结构化数据:图片、音频...转载 2019-07-28 09:25:14 · 355 阅读 · 0 评论