spark
文章平均质量分 90
pends
喜欢大数据、深度学习、计算机视觉等先进的技术
展开
-
Spark+Python+Pycharm在Windows下的配置
初次学习在大数据平台下做数据分析和数据挖掘,之前主要是在MATLAB上在一些数据分析,虽然很熟悉了,然而受速度和方便程度的影响,毕竟还是不太方便做实时的、集群的、超大数据量的分析,因此决定放下用了6年的MATLAB,转战python+spark。为何选择python+spark?选择spark是毋庸置疑的,目前最先进的大数据平台,可是为什么选择python而不选择spark同样支持的scala、J原创 2016-07-16 01:01:40 · 17899 阅读 · 13 评论 -
Spark在Linux下集群的搭建
上篇博客写了下在Windows下安装Spark本地应用的方法,虽然如此,但其实我最想做的是在Linux下的Spark集群环境的搭建,如今实际使用的时候基本上都是在Linux上运行的,搭建一个Windows下的本地应用实在是不熟悉Linux,不熟悉Spark等,因此想先搞明白Spark是什么,搭建出来后是什么样子,为了熟悉这些内容,当然最好的方式就是在熟悉的Windows环境下搭建出来,现在基本情况了原创 2016-07-21 22:08:52 · 1075 阅读 · 1 评论 -
centos7+jdk1.8+scala+spark+IEDA(mac可参考)集群环境搭建
因为硬件原因,博文一直没有更新,非常抱歉,最近去买了一个配置比较好的笔记本,尝试了下spark在linux下环境的搭建,利用一个星期的业余时间,终于是搭建成功了,特此记下了,也是给大家一些借鉴,如有问题,可以留言,或者邮箱(xlydq1206@sina.com)。好,下面切入正题啦~ 首先,我的笔记本是双核四线程的,大环境是mac下同下用平行桌面搭建了四个虚拟机(win7+3个centos的l原创 2016-12-08 16:51:02 · 1017 阅读 · 0 评论