spark
pang_hailong
你对他人的态度将决定你的高度!
展开
-
spark2.0下实现IPYTHON3.5开发,兼配置jupyter,notebook降低python开发难度
spark2.0下实现IPYTHON3.5开发1、spark2.0安装就不说了,网上有很多,不会的话给我留言。 2、我们在spark2.0下用python开发的话,不需要安装python了,直接安装anaconda就可以啦! 3、anaconda下载地址:https://www.continuum.io/downloads,这里提供3.5和2.7的,考虑到以后学习,我下载最新的3.5,界面如下:原创 2016-11-11 21:12:25 · 2921 阅读 · 0 评论 -
基于Jupyter平台通过python实现Spark的应用程序之wordCount
1、启动spark平台,界面如下: 2、启动Jupyter,界面如下图所示: 如果你对以上启动存在疑问的话,请看我的上一篇博客,关于Jupyter配置Spark的。 3、功能分析 - 我们要实现的一个功能是统计词频 - 我们需要把统计的文件上传到hdfs里面 - 编写python脚本 4、代码实现 - 上传文件到hdfs 我有一个hello.txt文件,里面有两行原创 2016-11-12 20:47:37 · 2038 阅读 · 0 评论