运行Spark2.3.1官方示例-JavaLinearRegressionWithElasticNetExample

写开始

我是从业10的Java开发老兵，以前只看其他人的博客，经过今天的思考决定开博。 目的有两个：其一把自己亲身经历的项目种种做个复盘记录下来，闲暇之时翻翻回忆一下（开始健忘了，(^_^)）。其二锻炼一下自己的文字功底，不仅要有好的想法，如果能用文字表达出来就更加完美。

环境准备

我的运行环境是spark-2.3.1-bin-hadoop2.7+hadoop2.7+win10+hadoop_dll2.6.0_64bit，从零开始搭环境耗费几天时间，因为正常的工作任务要完成。我是从官网下载的spark+hadoop，从csdn上花积分下载的hadoop_dll2.6.0_64bit，安装配置过程搜索引擎吧。

第一步用maven构建spark工程

pom.xml核心依赖：这个过程我不太顺利，jar下载不下来，导致运行报错没有发现类的运行时错误，跟网络有关系，**解决办法：**发现那个有问题后找到本地库位置后删除掉，右键->manven->update project，就会重新下载。

 <dependency>
		<groupId>org.apache.spark</groupId>
		<artifactId>spark-core_2.11</artifactId>
		<version>2.3.1</version>
	</dependency>
	<dependency>
		<groupId>org.apache.hadoop</groupId>
		<artifactId>hadoop-client</artifactId>
		<version>2.7.7</version>
	</dependency>
	<dependency>
	    <groupId>commons-configuration</groupId>
	    <artifactId>commons-configuration</artifactId>
	    <version>1.10</version>
	</dependency>
	<dependency>
	    <groupId>org.apache.spark</groupId>
	    <artifactId>spark-streaming_2.11</artifactId>
	    <version>2.3.1</version>
	    <scope>provided</scope>
	</dependency>
	<dependency>
	    <groupId>org.apache.spark</groupId>
	    <artifactId>spark-mllib_2.11</artifactId>
	    <version>2.3.1</version>
	    <scope>runtime</scope>
	</dependency>
  </dependencies>
复制代码

第二步拷贝示例代码至spark工程下

示例代码在spark-2.3.1-bin-hadoop2.7\examples\src\main下，我用的java实现

public class JavaLinearRegressionWithElasticNetExample {
	public static void main(String[] args) {
		SparkSession spark = SparkSession.builder().appName("JavaLinearRegressionWithElasticNetExample").master("local")
				.getOrCreate();
		// $example on$
		// Load training data.
		Dataset<Row> training = spark.read().format("libsvm").load("data/sample_linear_regression_data.txt");
		LinearRegression lr = new LinearRegression().setMaxIter(100).setRegParam(0.8).setElasticNetParam(0.8);
		// Fit the model.
		LinearRegressionModel lrModel = lr.fit(training);
		// Print the coefficients and intercept for linear regression.
		System.out.println("Coefficients: " + lrModel.coefficients() + " Intercept: " + lrModel.intercept());
		// Summarize the model over the training set and print out some metrics.
		LinearRegressionTrainingSummary trainingSummary = lrModel.summary();
		System.out.println("numIterations: " + trainingSummary.totalIterations());
		System.out.println("objectiveHistory: " + Vectors.dense(trainingSummary.objectiveHistory()));
		trainingSummary.residuals().show();
		System.out.println("RMSE: " + trainingSummary.rootMeanSquaredError());
		System.out.println("r2: " + trainingSummary.r2());
		// $example off$
		lrModel.transform(training).select("features", "label", "prediction").show();
		spark.stop();
	}
}
复制代码

代码释义请参考《SPARK MLLIB机器学习》这个本，尊重原创请购买正版书籍。敲黑板划重点 那么既然是官网的示例有什么不同呢？关键在于这行，这行代码的作用就是输出预测结果（限于时间关系我用的也是training数据集）lrModel.transform(training).select("features", "label", "prediction").show();对于初学者来说能把预测结果输出出来是多么重要啊，提升学习的自信心呢！

没有这行代码的输出：

+-------------------+
|          residuals|
+-------------------+
| -1020073.172416118|
|  1779184.442462788|
| 1313336.9211495668|
| 4165697.1427883618|
|-1404048.5767556876|
|  4972683.339662604|
|  -4435613.32077004|
|  373631.6067474559|
| -5744798.382868968|
+-------------------+

RMSE: 3379675.1928499704 
r2: 0.9703976727070023
复制代码

有这行代码的输出

+--------------------+-------------+--------------------+
|            features|        label|          prediction|
+--------------------+-------------+--------------------+
|(4,[0,1,2,3],[263...|   2528527.75|   3548600.922416118|
|(4,[0,1,2,3],[750...|    4130186.0|   2351001.557537212|
|(4,[0,1,2,3],[297...| 3.64669408E7| 3.515360387885043E7|
|(4,[0,1,2,3],[820...|3.384003015E7|2.9674333007211637E7|
|(4,[0,1,2,3],[661...|6.117732849E7| 6.258137706675569E7|
|(4,[0,1,2,3],[1.2...| 5.63341144E7|5.1361431060337394E7|
|(4,[0,1,2,3],[1.3...|4.407602894E7| 4.851164226077004E7|
|(4,[0,1,2,3],[968...|3.016595874E7|2.9792327133252542E7|
|(4,[0,1,2,3],[695...|  1.7447519E7|2.3192317382868968E7|
+--------------------+-------------+--------------------+
复制代码

特征、标签值、预测值

数据

2528527.75 1:263455.75 2:275799 3:709413 4:629950 
4130186 1:750437 2:201574.5 3:443560 4:409805
36466940.8 1:2974719.5 2:7677371.75 3:7301996.95 4:8867920.5 
33840030.15 1:8207536.9 2:9843736.6 3:8679155.35 4:5086838
61177328.49 1:6615422.05 2:15269585.4 3:15642690.7 4:13381847.16 
56334114.4 1:12991518.43 2:13798081.9 3:12502771.4 4:12899599.5 
44076028.94 1:13081200.65 2:13837499.9 3:12257050.8 4:11567330.24
30165958.74 1:9683931.6 2:9116163.8 3:5350176.6 4:9081991.59
17447519 1:6958805.1 2:7015432.75 3:5833268.4 4:5251674.55
复制代码

小结：该示例运行参数new LinearRegression().setMaxIter(100).setRegParam(0.8).setElasticNetParam(0.8)可调，有待进一步摸清。数据格式应满足libsvm要求，即标签值 特征序号：特征值，RMSE:预测值与真实值的误差平方根的均值 r2: 将预测值跟只使用均值的情况下相比，看能好多少。其区间通常在（0,1）之间。0表示还不如什么都不预测，直接取均值的情况，而1表示所有预测跟真实结果完美匹配的情况， 与均值相比的优秀程度，介于[0~1]。0表示不如均值。1表示完美预测.

写在最后

写本文增强自己学习的信心，终于输出了预测结果，所以说学习之路并不顺利，唯有锲而不舍的坚持下去。

转载于:https://juejin.im/post/5b7ca58e6fb9a01a125024ac