风水月的专栏

VMware网络设置有3钟方式，Bridge模式（桥接模式)、host-only模式（主机模式)、NAT模式（网络转换模式）。在上篇 大数据认知阶段——如何学习大数据相关技术 中已经介绍了这3种模式，下面简单列一下它们的特点。（其中附图为从网上Copy的很形象的描绘3种连接模式的原理图）Bridge模式：如果你想利用VMWare在局域网内新建一个虚拟服务器，为局域网用户提供网络服务，就应该选择桥接

已经看了大数据相关知识一阵时间了，自己也是从新手开始的，所以看了大量的大数据如何入门的技术博客、帖子等，下面记录总结下自己学习的内容。一、大数据学习前期知识储备在学习大数据前，需要对云计算、虚拟化、Linux、JAVA这几个方面都需要了解，下面简单阐述下这几个方面的概念。1.云计算所谓的云计算，指的就是把你的软件和服务统一部署在数据中心，统一管理，从而实现高伸缩性。云计算的部署方式 从部署方式来

Hadoop生态圈十分庞大，最近Spark又很火热并且速度也是Hadoop的百倍级别的，曾想就只看Spark吧，后来发现还是需要从基础打起，Spark是基于内存的，其没有存储系统，需要添加第三方分布式存储，而大多数Spark项目都安装在Hadoop上，因此学习Hadoop是必然的，学习Hadoop生态圈也是必须的。一、概念性知识1.概念Hadoop是一个开发和运行处理大规模数据

在此仅记录MapReduce的概念和配置运行，至于采用MapReduce架构的编程本篇不涉及，以后的文章中会记录。1.MapReduce介绍MapReduce是hadoop的计算框架。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。在

hadoop自带了eclipse的插件，但是其jar包需要我们自己对其提供的源码进行编译，在hadoop的src/contrib/目录下可以看到eclipse-plugin文件夹，此中包含的即是我们所需要的eclipse插件的源码工程，如下图： 1.eclipse-plugin——MapReduceTool编译1）打开eclipse软件，导入“hadoop-1.2.1\src\con