spark
weixin_42001089
算法让生活更美好
展开
-
Scala安装(Failed to initialize compiler: object java.lang//Error: could not find java.dll Error:解决)
要是看报错解决方案,直接跳到结尾首先要确保安装了jdk,可以测试一下:########################################################################################如果没有安装,要先去下载安装:https://www.oracle.com/technetwork/java/javase/downl...原创 2018-08-11 11:46:11 · 1475 阅读 · 0 评论 -
spark入门框架+python
目录:简介pysparkIPython Notebook安装配置spark编写框架:首先开启hdfs以及yarn1 sparkconf2 sparkcontext3 RDD(核心)4 transformation(核心) 5 action(核心)当然也可以指定运行py程序 简介: 不可否认,spark是一种大数据框架,...原创 2018-09-05 18:41:43 · 16700 阅读 · 1 评论 -
Hive 安装配置
首先要确保安装了Hadoop和mysqlHadoop安装参考:https://blog.csdn.net/weixin_42001089/article/details/81865101mysql安装参考:https://blog.csdn.net/weixin_42001089/article/details/82106723下载:http://mirror.bit.edu.cn...原创 2018-09-08 13:30:51 · 270 阅读 · 0 评论 -
ubuntu18.04安装spark(伪分布式)
在安装spark之前,首先需要安装配置Hadoop,这个就不做详细介绍了,可以参看博主的另一篇:https://blog.csdn.net/weixin_42001089/article/details/81865101######################################################################################...原创 2018-09-05 18:40:55 · 25409 阅读 · 2 评论 -
spark millib 推荐模型 +python
首先数据集下载:http://files.grouplens.org/datasets/movielens/ml-100k.zip下载好后解压,里面有几个比较重要首先是u.user 记录着用户的信息u.data记录着用户对其看过的电影的评价u.item记录的便是电影的信息----------------------------------------------------...原创 2018-09-16 14:57:33 · 998 阅读 · 0 评论