![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 90
Hadoop基本原理
chenlly99
专注LBS轨迹大数据挖掘,数据仓库建模,基于Hadoop集群的超大规模分布式计算。
展开
-
Spark-基本框架和基本原理
框架执行模式Spark 的执行模式有 local、Yarn、Standalone、Mesos 四类。后面三个分别有 cluster 和 client 二种。client 和 cluster 的区别就是指 Driver 是在程序提交客户端还是在集群的 AM 上。 比如常见的 Yarn-cluster 模式如下图所示:驱动(Driver): 在驱动程序中,通过SparkContext主导应用的执行,SparkContext可以连接不同类型的Cluster Manager(Standalone、YARN原创 2021-04-23 18:09:40 · 283 阅读 · 0 评论 -
hadoop简单应用-统计文本文件单词个数
=============hadoop-0.12.2-core 版本===========================MyMap.java map方法把文本文件单词输出到中间过程output中,格式:handoop 1Bye 1handoop 1World 1public class MyMap extends MapReduceBase imple原创 2011-11-04 18:07:51 · 1701 阅读 · 0 评论 -
大数据,怎么搞?
转载:http://qindongliang.iteye.com/blog/2173091随着大数据的爆红,数据分析师这个职位也得到了越来越多的关注,千千万万懂些大数据技术的少年们都渴望成为高大上的“大数据科学家”,可是,你们真的准备好了吗?1、最早的数据分析可能就报表 目前很多数据分析后的结果,展示的形式很多,有各种图形以及报表,最早的应该是简单的几条数据,然后搞个转载 2015-01-07 12:03:56 · 4804 阅读 · 0 评论