亚信联创大数据平台Li

Shark本地安装  1.下载scala  wget http://www.scala-lang.org/files/archive/scala-2.9.3.tgz  最新有2.10.2.tgz文件  tar xvfz scala-2.9.3.tgz  2.下载shark and hive压缩包  wget http://spark-project.org/download/s

最近需要处理海量数据的分布式计算及数据挖掘，经过多次选择(hadoop,Spark,DPark)，最后还是选择了DPark，主要是看中DPark的轻量级及python的灵活性，且除了豆瓣外，在几个友公司都有成功的应用案例。 不过很痛苦的是DPark的资料太少了，连github上的官方wiki都不够详细，暂时只能主要靠自己摸索。 这篇文章主要记录DPark的一些资料及我在安装时的一些问题

摘要：近日，Databricks宣布终止对Shark的开发，新的SQL on Spark项目将被Spark SQL代替。在此之外，HIVE-7292项目将是对Hive部分的补充，将Spark作为一个替代执行引擎提供给Hive。 在2014年7月1日的Spark Summit上，Databricks宣布终止对Shark的开发，将重点放到Spark SQL上。Databricks表示，Spa