scala
文章平均质量分 77
山谷來客
君子生非異也,善假於物也。
展开
-
Spark1.4.1单机版安装配置
版本信息 scala-2.11.7.tgz jdk-8u65-linux-x64.gz spark-1.4.1-bin-hadoop2.6.tgz IP: 192.168.31.157 查看IP的语法为:[root@localhost java]# ifconfig -a 步骤0:创建目录 [root@localhost ~]# mkdir /usr/java [root@loca原创 2015-12-31 17:10:10 · 1106 阅读 · 0 评论 -
scala-spark版本xgboost包使用
// XGBOOST测试 //调用形式 // /opt/app/spark-1.6.1/bin/spark-shell --master yarn-client --conf spark.executor.extraJavaOptions='-XX:PermSize=1024M' --driver-memory 6g --num-executors 80 //(续上) --e原创 2016-12-01 09:37:42 · 14385 阅读 · 5 评论 -
Scala DataFrame生成技巧
case1:List()到DataFrame()的简单转化 //step1:我们首先创建一个case class case class resultset(masterhotel:Int, quantity:Double, date:String, rank:Int, frcst_cii:Double, hotelid:Int) //step2 //初始化resu原创 2016-11-24 00:07:52 · 14097 阅读 · 1 评论 -
Scala-Spark实现RF(随机森林)
package Cii_Forecast import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.hive.HiveContext /** * Created by yuan.min on 2016/9/8. */ object Cii_Forecast_main原创 2016-10-21 17:18:59 · 3156 阅读 · 0 评论 -
scala生成jar包步骤
scala生成jar包步骤: 注1:要编译通过后,才能生成jar包; 注2:如果用到了其它模块,如机器学习库、hive库等,要添加相应的jar包,完成编译,再生成jar包 。 step1: step2: step3: step4: step5: step6:原创 2017-04-23 20:04:38 · 16149 阅读 · 0 评论 -
Windows下单机安装scala-Spark开发环境
part1:版本信息 (1)系统:Win7或Win10 (2)jdk版本 版本:1.7.0_60 (3)spark版本 spark-1.6.1-bin-hadoop2.6.tgz http://apache.fayea.com/ http://apache.fayea.com/spark/spark-1.6.1/ (4)hadoop版本 hadoop-2.6.0.tar.g原创 2017-04-23 23:26:25 · 3134 阅读 · 0 评论