![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 58
futurewq
活到老,学到老
展开
-
spark中api和sklearn中的api对比
1.逻辑回归对比spark.ml.LogisticRegressionsetMaxIter 设置最大迭代次数(默认100),具体迭代次数可能在不足最大迭代次数停止setTol设置容错(默认1e-6),每次迭代会计算一个误差,误差值随着迭代次数增加而减小,当误差小于设置容错,则停止迭代setRegParam设置正则化项系数(默认0),正则化组要用于防止过拟合现象,如果数据较小,特征维数又多,容易 出现过拟合,考虑增大正则化系数setElasticNetParam正则化范式比(默认0),正则原创 2021-08-10 17:14:44 · 410 阅读 · 0 评论 -
spark概述与编程模型
spark比hadoop好的原因spark rddspark rdd算子原创 2021-02-26 18:13:11 · 202 阅读 · 1 评论 -
scala基础与实践(下)
case class(多用在模式匹配中) 构造器中的每一个类型都为val,不建议用var 不用new就可以直接产生对象(为什么?apply方法)case class Book(name:String, author:String)object Basic5 { def main(args:Array[String]): Unit ={ val macTalk = Book("MacTalk", "CJQ") macTalk match{ case Bo...原创 2021-02-23 18:59:27 · 78 阅读 · 0 评论 -
scala基础与实践(中)
抽象类(abstract class): 类的一个或多个方法没完整的定义 声明抽象方法不需要加abstract关键字,只需要不写方法体 子类重写父类的抽象方法时 不需要加override 父类可以声明抽象字段(没有初始值的字段) 子类重写父类的抽象字段时 不需要加overrideobject Basic3 { def main(args:Array[String]): Unit ={ val s1 = new Stud...原创 2021-02-23 17:24:16 · 65 阅读 · 0 评论 -
windows下安装hadoop2.9.1并在Hadoop上运行myeclipse项目
首先首先要安装Java首先,到官网下载Hadoop安装包:http://hadoop.apache.org/->左边点Releases->点mirror site->点http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->下载hadoop-2.9.1.tar.gz然后,解压到自己喜欢的文件夹即可,我的...原创 2018-07-26 11:35:40 · 1792 阅读 · 4 评论