云计算
小城一铭
本人性格开朗,具有进取精神和团队精神,有较强的动手能力。具有良好的协调能力和交流能力,适应能力强,同时具有丰富的项目管理经验,并且曾主导过项目的架构设计和项目管理。同时具有大量开发经验,并参与《Spark核心技术与高级应用》书籍的撰写工作。
展开
-
利用Eclipse构建Spark集成开发环境(包括scala环境的搭建)
(1) 准备工作在正式介绍之前,先要以下软硬件准备:软件准备:Eclipse Juno版本(4.2版本),可以直接点击这里下载:Eclipse 4.2Scala 2.9.3版本,Window安装程序可以直接点击这里下载:Scala 2.9.3Eclipse Scala IDE插件,可直接点击这里下载:Scala IDE(for Scala 2.9.x转载 2014-09-26 11:27:05 · 7700 阅读 · 0 评论 -
hadoop家族成员
Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)其主要成员为HDFS1、分布式文件系统2、设计思想采用谷歌的三大论文中的google-file-sysytem,参照(hadoop的理论技术)MapReduce1、编程模型,用于大数据集的并行计算2、原创 2015-08-10 13:27:31 · 655 阅读 · 0 评论 -
hadoop的理论技术(谷歌三大论文)
hadoop的理论基础来自谷歌的三大论文,以下是三大论文的中文版。Google-File-System :http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdfGoogle-Mapreduce:http://blog.bizcl原创 2015-08-07 10:23:58 · 10026 阅读 · 0 评论 -
利用Intellij IDEA构建Spark开发环境(包括scala环境的搭建)
(1)准备工作1) 安装JDK 6或者JDK 72) 安装scala 2.10.x (注意版本)2)下载Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1为例说明,不同版本,界面布局可能不同):http://www.jetbrains.com/idea/download/3)将下载的Intelli转载 2014-09-26 11:21:24 · 2622 阅读 · 0 评论