【实验数据】
train2.csv
字段
id:ad identifier
click:0/1 for non-click/click
hour:format is YYMMDDHH
C1:anonymized categorical variable
banner_pos
site_id
site_domain
site_category
app_id
app_domain
app_category
device_id
device_ip
device_model
device_type
device_conn_type
17-24 C14-C21: anonymized categorical variable
注:其中5到15列为分类特征,16到24列为数值型特征
数据集存放地址:hdfs:/simple_demo/demo4/目录下
【实验步骤】
一、项目准备阶段
1.1 在任意目录下运行start-all.sh.启动hadoop。如图1所示
图1
1.2 在/data/bigdata/spark-2.0.1-bin-hadoop2.7/sbin/目录下运行./start-all.sh.启动Spark。如图2所
图2
1.3 启动Scala_Ide,快捷方式在/data/bigdata/scala_ide/eclipse/下面,找到后双击启动。如图3所
图3
二、新建一个Scala项目
2.1 新建项目。如图4-5所示
图4
图5
2.2 导入Jar包,包的路径在/data/bigdata/lib/movie_lib/下,将jar包拷贝到我们新建的项目根目录下的lib中,然后构建路径。如图6-10
图6
图7
图
图9
图10
2.3 更换scala库版本,右键项目名,选择properties,然后选择Java Bulid Path 中的Libraries,编辑scala库,更换版本。如图11-13所
图12
图13
2.4 在src下新建一个包,包名为:com.xpjy,包下面新建一个scala Object。如图14-17
图1
图15
图16
图17
代码如下:
package com.xpjy
import scala.collection.mutable.ListBuffer
import scala.collection.mutable.ArrayBuffer
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD