![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
小白学习指南
@¥#¥%#%
展开
-
idea无法显示scala插件怎么办
新安装idea,无论怎么搜plugin这里都没有scala,后来有帖子说,项目中没有scala文件,但是没说具体怎么弄。后来想了一下,在项目中新建一个文件,后缀改为.scala,果然这个出现了,具体如下:新建了这个.scala文件...原创 2022-01-20 17:32:23 · 1490 阅读 · 0 评论 -
spark 多分类的特征选择
特征选择好像不是全局的选择原创 2021-12-15 10:59:21 · 1660 阅读 · 1 评论 -
scala加工特征遇到数组越界问题解决
1.在scala加工模型特征过程中,libsvm形式的数据报错内容:executor 40): java.lang.ArrayIndexOutOfBoundsException: 1判断方法:如果部分样本可以跑通,全量数据无法跑通,99%的概率为数据问题。比如分隔符错误划分特征,把不是特征的字段分割为特征。感谢cong哥~...原创 2021-12-06 16:08:24 · 334 阅读 · 0 评论 -
本地运行报错 java.lang.ClassNotFoundException: org.apache.spark.SparkConf
报错1:本地运行scala,报如下错误:java.lang.ClassNotFoundException: org.apache.spark.SparkConf,或调试:在pom文件中注掉红色字体一行 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_${scala.version...原创 2021-11-30 10:30:46 · 3762 阅读 · 2 评论 -
scala特征加工中的报错记录和调试
错误1:You provided indices and values, which exceeds the specified vector size 13错误1:va.lang.IllegalArgumentException: requirement failed: You provided 262 indic分析:特征数量不匹配,特征中的和在计算过程中计算的不一致,检查代码特征数量计算是否有错误错误2:java.lang.NumberFormatException: For input原创 2021-11-26 10:07:24 · 1356 阅读 · 0 评论 -
关于empty collection的报错 scala
Exception in thread "main" java.lang.UnsupportedOperationException: empty collection整了很久,mark一下,是因为RDD里面没有数据,报这个错误。原创 2021-07-19 09:20:53 · 744 阅读 · 1 评论 -
初学Scala如何调试代码——关于ScalaWorksheet的使用
1.如何进入ScalaWorksheet使用idea,file -》 new -》ScalaWorksheet,如下图:2.如何调试调试语句如下:zipval symbols = Array("[","-","]")val counts = Array(2,5,2)val pairs = symbols.zip(counts)for((x,y) <- pairs) Console.print(x * y)运行结果:symbols: Array[String]原创 2021-07-09 11:11:18 · 463 阅读 · 0 评论 -
fondFirstNegative是scala中的一个函数吗
import scala.collection.mutable.ArrayBufferval a = ArrayBuffer[Int]()a += (1,2,3,4,5,-1,-3,-5,-7)原创 2021-05-28 14:31:28 · 54 阅读 · 0 评论 -
scala打包
非常感谢小伙伴帮我调bug,虽然没有当面感谢,但很感动在聪哥的指导下,开始打包;执行mvn -U package试试原因是手动打包xgb失败,报错:Caused by: java.lang.ClassNotFoundException: ml.dmlc.xgboost4j.scala.spark.XGBoostClassifier先想想mvn -U package怎么写?mvn -U model.xgbmodelmvn -U -X model.xgbmodel报错:[Help 1] htt原创 2021-03-04 01:05:54 · 451 阅读 · 2 评论 -
Mac安装Scala、idea基本操作
Mac 查找java安装路径/usr/libexec/java_home -V2.打开配置文件open .bash_profile3.配置Scala和java配置文件(参考其他链接)export SCALA_HOME="/路径"PATH="$PATH:/路径"Export JAVA_HOME=/路径4.查看java是否安装成功java -version...原创 2021-02-28 19:09:40 · 584 阅读 · 0 评论 -
如何提交jar包到集群上执行?如何把电脑本机路径的文件上传到服务器上
如何提交jar包到集群上执行?spark-submit --class 包名+类名 /home/****/myScala.jar> rizhi.txt其中:spark-submit 是命令–class 包名+类名, 包名为jj.tag.test 类名为 DataFrameOperation>rizhi.txt 是把日志打在rizhi.txt文件中*如何将电脑本机路径的文件上传的服务器上?hadoop dfs -put /home/**** hdfs://****其中原创 2020-06-03 14:34:58 · 321 阅读 · 0 评论 -
IDEA运行无法加载主类
IDEA 运行Scala程序出现无法加载主类问题的解决1.编码问题原创 2020-05-11 22:13:01 · 197 阅读 · 0 评论 -
scala开发新建文件,不显示scala class
scala开发新建文件,不显示scala class首先,鼠标选定项目,单击右键,,其次,选择Add FrameWorks Support,弹出第二张图,选择scala。图片展示如下:(改方法仅限配置好plugin,选择文件夹为source之后还不出现scala class的情形)欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。新的改变我们原创 2020-05-11 15:38:08 · 425 阅读 · 0 评论