- 博客(5)
- 资源 (19)
- 收藏
- 关注
翻译 spark 官方动手练习二:用spark浏览维基百科的数据
在本章中,我们将首先使用Spark shell以交互方式探索维基百科的数据。然后,我们会给出一个简要介绍了编写spark的程序。请记住,Spark是建立在Hadoop分布式文件系统(HDFS)之上的开源的计算引擎。交互数据分析现在,让我们用spark办对数据集中的进行排序和统计。首先,启动spark shell:[root@hadoop spark-0.8.0]# spark-sh
2013-12-31 12:33:35 3377 2
原创 机器实战笔记1
第一章 Python语言1.Python的安装1)查看是否已经安装 which python whereis python python -V1)查看是否已经安装 which python whereis python python -V1)查看是否已经安装 [root@hadoop ~]# which python /usr
2013-12-14 18:39:19 1417
原创 spark 官方动手练习一:Introduction to the Scala Shell
本章将教你如何使用Scala shell的基本知识,并为您介绍函数式编程与集合。如果你已经熟悉Scala或使用Python shell为课程,那么建议直接跳到下一节。这项练习是基于setp1 scala的教程。然而,通读了整个教程,并在控制台尝试这些例子的话,那么可能花相当长的时间,所以我们会提供一些介绍Scala的shell命令。通过键入以下命令启动斯卡拉控制台:1.调出sc
2013-12-10 22:22:34 2552
原创 SparK安装
1.Spark简介简单总结一下Spark的特性:首先介绍一下Spark的生态系统。fast: Spark引入了一种叫做RDD的概念(下一篇详细介绍),官方宣称性能比MapReduce高100倍fault-tolerant: Spark的RDD采用lineage(血统)来保存其生成轨迹,一旦节点挂掉,可重新生成来保证
2013-12-06 23:37:04 3439 2
原创 大数据可视化工具---GraphBuilder demo
Intel近日开源了GraphBuilder测试版本的源码。GraphBuilder由英特尔研究院(Intel Labs)开发,是首个针对大数据的可扩展的开源Java库,可以将大数据集构建成图形——能够反映数据之间关系的网络状结构图,帮助行业和学术界的科学家或数据分析师快速分析大型数据集。GraphBuilder使用MapReduce并行编程模型进行扩展,其主要组件及与Hadoop
2013-12-05 23:15:40 4148
opencv编译必须的文件
2019-01-18
python3 64位CRF编译结果
2018-08-01
mac 版sublime
2017-11-30
R on Spark
2014-02-23
hadoop面试题
2013-08-17
用HTML5新特性开发移动App
2013-03-20
Word 转换器(Word Converter)
2013-03-20
星号密码查看器
2013-03-20
extremeTable
2007-09-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人