spark
lxslx
萌新程序员
展开
-
第一个spark程序
我用的是Intellij编写的scala程序首先配置build.sbt文件name := "mytest"version := "1.0"scalaVersion := "2.11.0"libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.2.0" 然后编写主程序/**原创 2017-07-21 15:58:34 · 253 阅读 · 0 评论 -
spark机器学习--推荐系统(一)(python)
#-*-coding:utf-8from pyspark import SparkContextfrom pyspark.mllib.recommendation import ALS,Rating#数据格式 用户id,影片id,星级,时间戳sc=SparkContext("local[2]","second spark app")#读取数据rawData=sc.textFi原创 2017-07-23 16:07:52 · 687 阅读 · 0 评论 -
spark机器学习构建回归模型
from pyspark import SparkContextsc=SparkContext("local[4]","first spark app")raw_data=sc.textFile("E:\sparkLearning\Bike-Sharing-Dataset\hour.csv")records=raw_data.map(lambda x:x.split(","))num_转载 2017-07-27 10:56:40 · 490 阅读 · 0 评论 -
linux 系统下spark环境的搭建
1.安装jdk去jdk官网下载对应版本的jdk安装jdktar zxvf 下载的jdk名称配置环境变量vi /etc/profile在文件中写入export JAVA_HOME=这里填jdk路径export PATH=$PATH:$JAVA_HOME/bin然后退出文件source /etc/profile让文件立即生效,不然要重启才会生效2.安装原创 2017-07-21 15:46:30 · 1197 阅读 · 0 评论