52Pig的专栏

scala> val m = List(List("a","b"),List("c","d"))m: List[List[String]] = List(List(a, b), List(c, d))scala> m.flattenres8: List[String] = List(a, b, c, d)scala> val n = List(List(1,2),List(3,

示例代码：object Assinment_Internals { def main(args: Array[String]): Unit = { //@是别名，变量b的值是1000,同时把a绑定到b上，可以认为a是b的别名，其实使用模式匹配完成的。// 模式匹配完成之后会同时返回a和b的内容 val a@b = 1000 //a = 1000, b =

示例代码：object :> { def unapply[A] (list:List[A]) = { Some( (list.init,list.last) ) }}object Extractor_Advanced { def main(args: Array[String]): Unit = { (1 to 9).toList match{ cas

示例代码：//Type与Class实战详解/** * 类型系统与类 * * 无论java还是scala都是基于jvm虚拟机 * java1.5以前一个具体对象的类型和他的class是一一对应的，后来由于引入了泛型。 * 例如数组，数组里面有可能是字符串也可能是整数类型等等， * 虚拟机本身并不关心泛型，或者类型系统，在虚拟机中泛型在编译和运行时是被擦除掉的。 * 在运行时是通

打开idea启动报错：Internal error. Please report to http://jb.gg/ide/critical-startup-errorsjava.lang.IllegalStateException: failed to create a child event loop at io.netty.util.concurrent.Multith

随机森林和GBTs都是集成学习算法，它们通过集成多棵决策树来实现强分类器。集成学习方法就是基于其他的机器学习算法，并把它们有效的组合起来的一种机器学习算法。组合产生的算法相比其中任何一种算法模型更强大、准确。随机森林和梯度提升树(GBTs)。两者之间主要差别在于每棵树训练的顺序。随机森林通过对数据随机采样来单独训练每一棵树。这种随机性也使得模型相对于单决策树更健壮，

当我们使用mllib做分类，用到逻辑回归或线性支持向量机做分类时，可能会出现下面的错误：15/04/09 21:27:25 ERROR DataValidators: Classification labels should be 0 or 1. Found 3000000 invalid labelsException in thread "main" org.apache.spark.S

报错信息 ： java.lang.IllegalArgumentException: GiniAggregator given label 2.0 but requires label 在用mllib做分类，当用到一些分类算法时，常常需要加入基尼系数。程序代码：RandomForest.trainClassifier(validData,2,Map[In

spark在提交任务时，出现如下错误：从警告信息上看，初始化job时没有获取到任何资源；提示检查集群，确保workers可以被注册并有足够的内存资源。如上问题产生的原因是多方面的，可能原因如下：1.因为提交任务的节点不能和spark工作节点交互，因为提交完任务后提交任务节点上会起一个进程，展示任务进度，大多端口为4044，工作节点需要反馈进度给该该端口，所以如果

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟合的函数h(theta)就出来了。其中m是训练集的记录条数，j是参数的个数。

package com.dt.scala.listobject ListBuffer_Internals { def main(args: Array[String]): Unit = { val list = List(1,2,3,4,5,6,7,8,9) increment(list) increment_MoreEffective(list) inc

package com.dt.scala.listabstract class Big_Dataclass Hadoop extends Big_Dataclass Spark extends Big_Dataobject List_Constructor_Internals { def main(args: Array[String]): Unit = { val had

scala并发编程原生线程Actor、Case Class下的消息传递和偏函数实战

看书时发现书中写的不一定是正确的。eg：scala> val line = sc.textFile("hdfs://Spark:9000/user/root/README.md")15/03/19 20:03:04 INFO MemoryStore: ensureFreeSpace(202004) called with curMem=744765, maxMem=2802489751

设置IDEA的auto import 之后，编写Spark应用程序时的一些自动导入情况及其说明。1.普通类的自动导入var cnames = new ArrayBuffer[String]()var ips = new ArrayBuffer[String]()直接根据提示alt+enter便可以导入ArrayBuffer类包2.需要隐式转换val joinRDD = r

val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0)) val b = sc.parallelize(Array(("123",8.0),("789",10))) val c = a.join(b) c.foreach(println) /* (123,(4.0,8.0))

Scala并发编程react、loop代码实战详解

示例代码：import scala.swing._//SimpleSwingApplication继承自SwingApplication类(此类中有main方法，因此可以运行显示界面)object Hello_GUI extends SimpleSwingApplication { def top = new MainFrame{ //顶级容器 title = "Hello

示例代码：package com.dt.scala.guiimport scala.swing.SimpleSwingApplicationimport scala.swing.MainFrameimport scala.swing.Buttonimport scala.swing.Labelimport scala.swing.Orientationimport scala.s

示例代码：import scala.swing.SimpleSwingApplicationimport scala.swing.MainFrameimport scala.swing.Buttonimport scala.swing.Labelimport scala.swing.Orientationimport scala.swing.BoxPanelimport s

1.scala中模式匹配2.spark源码中的模式匹配思考spark中master会收到worker发过来的akka的消息，此消息是case class即(Master.class中)：case class RegisterWorker( id:String, host:String, port:Int, cores:Int, memo

示例代码：object For_Advanced { def main(args: Array[String]): Unit = { /** * for循环内部调用的源码其实是： * * @inline override final * def foreach[B](f: A=> B){ * var these

机器学习的目标是：对于给定的一个训练数据集，通过不断地分析和学习产生一个联系属性集合和类标的分类函数(Classification Function)或预测函数(Prediction Function),这个函数称为分类模型(Classification Model)或预测模型(Prediction Model).通过这个模型可以对输入对象的特征向量预测或对对象的类标进行分类。超定方程