- 博客(8)
- 资源 (1)
- 收藏
- 关注
转载 java之"equals"和"=="的区别
转载至:http://blog.csdn.net/xingzhemoluo/article/details/40189419 java中的数据类型有基本数据类型和引用数据类型。 基本数据类型包括:int,char,float,long,double,boolean,byte,short(注:String不是基本数据类型);基本数据类型之间的比较用"=
2017-09-11 17:15:52
272
转载 Spark基础与Java Api介绍
转载自http://www.cnblogs.com/tovin/p/3832405.html 一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce,Spark能充分利用内存资源提高计算效率。 2、Spark计算
2017-05-09 11:10:33
2045
转载 spark入门介绍(菜鸟必看)
什么是SparkApache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。首先,Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数
2017-05-09 11:06:16
2103
原创 pig学习笔记——运行与语法
1.执行模式local mode在本地模式下,Pig运行在单个JVM中,访问本地系统,适用于处理小规模数据集% pig -x localgrunt>MapReduce mode2.运行Pig程序
2016-03-10 10:01:01
557
原创 pig安装
环境:ubuntu12.04 java 1.8 hadoop1.2过程:1.在 http://mirror.bit.edu.cn/apache/pig/ 下载pig-0.15.0 2.解压并放在/opt/pig-0.15.0目录下$tar -zxvf /opt/pig-0.15.0.tar.gz3.配置环境变量$sudo gedit /etc/profile
2016-03-08 20:44:51
325
原创 Hadoop安装
环境:Ubuntu 12.04步骤:1.创建hadoop用户组$ sudo addgroup hadoop2.创建hadoop用户$ sudo adduser -ingroup hadoop hadoop (选择) Is the information correct? [Y/n] Y3.为hadoop用户添加权限$ sudo gedit /etc/s
2016-03-08 15:31:33
1384
转载 Hadoop学习笔记——简介及WordCount
注:此文摘自方宸 2013.06.09 pptHadoop简介•Hadoop集群是主从关系:一个Master,多个Slave•Master充当NameNode,管理文件系统,运行着JobTracker,负责整个作业的调度。•Slave充当DataNode,是数据存储的真正所在地,运行着TaskTracker,负责完成由JobTracker分配过来的任务。
2016-03-08 09:41:15
398
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人