![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SPARK
VanChaoi
钓鱼要到岛上钓,不到岛上钓不到.
展开
-
SPARK CORE(python编程)
一、SPARK CORE的使用1.在JUPYTER网页上创建新的ipynb文件2.环境准备代码import osimport sys spark_home = os.environ.get('SPARK_HOME',None)if not spark_home: raise ValueError('SPARK_HOME enviroment variabl...原创 2018-07-31 17:25:51 · 442 阅读 · 0 评论 -
Spark
一 为什么用SPARK先进的大数据分布式编程和计算框架 试图代替HADOOP(SPARK可以独立于HADOOP) 内存分布式计算:运行速度快 可以用不同语言编程(JAVA,SCALA,R,PYTHON) 可以从不同的数据源取数据(HDFS,Cassandra,HBase) 实现不同的大数据功能:Spark Core,Spark SQL,Spark Streaming,Spark M...原创 2018-08-09 22:16:08 · 508 阅读 · 0 评论