- 博客(8)
- 资源 (1)
- 收藏
- 关注
转载 java之"equals"和"=="的区别
转载至:http://blog.csdn.net/xingzhemoluo/article/details/40189419 java中的数据类型有基本数据类型和引用数据类型。 基本数据类型包括:int,char,float,long,double,boolean,byte,short(注:String不是基本数据类型);基本数据类型之间的比较用"=
2017-09-11 17:15:52 274
转载 Spark基础与Java Api介绍
转载自http://www.cnblogs.com/tovin/p/3832405.html 一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台,它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapReduce,Spark能充分利用内存资源提高计算效率。 2、Spark计算
2017-05-09 11:10:33 2047
转载 spark入门介绍(菜鸟必看)
什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。 首先,Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数
2017-05-09 11:06:16 2110
原创 pig学习笔记——运行与语法
1.执行模式 local mode 在本地模式下,Pig运行在单个JVM中,访问本地系统,适用于处理小规模数据集 % pig -x local grunt> MapReduce mode 2.运行Pig程序
2016-03-10 10:01:01 561
原创 pig安装
环境: ubuntu12.04 java 1.8 hadoop1.2 过程: 1.在 http://mirror.bit.edu.cn/apache/pig/ 下载pig-0.15.0 2.解压并放在/opt/pig-0.15.0目录下 $tar -zxvf /opt/pig-0.15.0.tar.gz 3.配置环境变量 $sudo gedit /etc/profile
2016-03-08 20:44:51 329
原创 Hadoop安装
环境:Ubuntu 12.04 步骤: 1.创建hadoop用户组 $ sudo addgroup hadoop 2.创建hadoop用户 $ sudo adduser -ingroup hadoop hadoop (选择) Is the information correct? [Y/n] Y 3.为hadoop用户添加权限 $ sudo gedit /etc/s
2016-03-08 15:31:33 1385
转载 Hadoop学习笔记——简介及WordCount
注:此文摘自方宸 2013.06.09 ppt Hadoop简介 •Hadoop集群是主从关系:一个Master,多个Slave •Master充当NameNode,管理文件系统,运行着JobTracker,负责整个作业的调度。 •Slave充当DataNode,是数据存储的真正所在地,运行着TaskTracker,负责完成由JobTracker分配过来的任务。
2016-03-08 09:41:15 400
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人