大数据
luckygl17
这个作者很懒,什么都没留下…
展开
-
一文搞懂极大似然估计
文章转载: 一文搞懂极大似然估计极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值!换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。可能有小伙伴就要说了,还是有点抽象呀。我们这样想,一当模型满足某个分布,它的参数值我通过极大似然估计法求出来的话。比如正态分布中公式如下:如果我通过极大似然估计,得到模型中参数[公式]和[公式]的值,那么这个模型的均值和方差以及其它所有的信息我们是不是就知道了转载 2020-12-03 14:40:14 · 1019 阅读 · 0 评论 -
idea 远程提交hadoop 任务
异常 hadoop java.net.ConnectException: Connection timed out: no further information原因:远程集群是某云(有内外IP地址)解决方式 在hdfs-site.xml 添加如下配置<property> <name>dfs.client.use.datanode.hostname</name> <value>true</value> <原创 2020-08-31 13:52:43 · 263 阅读 · 0 评论 -
idea 调试 Hadoop
hadood ideajava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.– 解决方式:System.setProperty(“hadoop.home.dir”, “Full\folder\path:\winutil\”);ps: if you havn’t install winutils.exeyou can execute the command git原创 2020-08-28 10:45:54 · 152 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第十二讲 trait
trait 类似于Java 中的Interface 但有差别 trait可以继承trait并且在trait 可以写抽象的方法,也可以具体实现方法 实例如下 trait Walk { def walk(){} } class person extends Walk { println(“hello —–”) override def walk(){println(“Let’原创 2015-12-03 21:48:20 · 397 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第十三讲 AOP
原视频教程中多重继承相对比较好理解,主要AOP切面编程过程需要好好理解以下是具体实例: trait Action { def doAction }trait BeforeAfter extends Action { abstract override def doAction { println(“before…”) super.doAction原创 2015-12-04 22:53:41 · 437 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第十四讲 package 访问权限
scala 中包导入._ 类似与java中.* 如下示例中不能直接在animal包下TT类中new Navigator如果要调用必须先new 出外部类package spark{ package navigation { private[spark] classHello { private[spark] class Navigator {原创 2015-12-06 23:22:16 · 357 阅读 · 0 评论 -
Scala 第十五讲 正则表达式 从大数据菜鸟走上大师的历程
非常抱歉 由于blog 中一直报代码部分包含非法字符故附上以下链接 有兴趣的话 大家可点击以下链接作参考http://www.cnblogs.com/gl2867/p/5027450.html 现在正是学习大数据的最好机遇,不花一分钱就可以成为大数据高手,实现年薪50万的梦想。王家林的第一个中国梦:免费为全社会培养100万名优秀的大数据从业人员!如果您有兴趣请点击这个原创 2015-12-07 21:28:27 · 286 阅读 · 0 评论 -
spak on hive 资源占用
源文地址:http://www.cnblogs.com/linbingdong/p/5806329.html在配置好的hive on spark 上同时开两个hive 有一个任务能正常执行,另外一个不能正常执行情况是spark有别的application在运行,导致本次spark任务的等待或者失败 具体操作截图如下 解决方式:在hadoop配置文件中设置yarn的并行度,在/etc/h原创 2016-10-18 14:03:27 · 535 阅读 · 0 评论 -
kafka的分区数与多线程消费
原文链接:点击打开链接 http://www.myexception.cn/industry/2030583.html=========================================================首先,容我吐一口老血。。。。。。kafka算是很麻烦的一件事儿,起因是最近需要采集大量的数据,原先是只用了典型的high-level Consumer的转载 2016-11-16 11:04:45 · 1922 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第十一讲 extends
子类继承父类 要完成父类参数的填充 class Person(val name : String ,val age : Int) { println(“father’s constructor”) val Class = “first class ” def read = “10 hours” override def toString = “I am a good pe原创 2015-12-02 20:38:40 · 308 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第十讲 apply
apply object中可直接引用 对象中的apply方法 class中apply 由类的对象引用 实例如下 : class TestOne { def apply() = {println(“TestOne class apply method “)} def sayHello() { println(“scala class sayHello “) }原创 2015-12-02 20:37:18 · 302 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 第九讲 内部类
Scala 内部类 纯属于该类的对象 实例如下: class Out(val outName : String){ val outName2 = “I’m outName2 ” out =>class Inner(val innerName : String) { def sayHello(inner : Inner) { println(“ou原创 2015-11-28 22:57:56 · 307 阅读 · 0 评论 -
文章标题
scala 平台搭建 1下载安装JDK 建议Jdk 8配置JDK环境变量可以参考http://jingyan.baidu.com/article/f96699bb8b38e0894e3c1bef.html2下载 scala建议2.10.4配置scala环境变量 可以参考http://jingyan.baidu.com/article/73c3ce280d1af2e50343d98e.html3下载原创 2015-11-16 20:54:45 · 302 阅读 · 0 评论 -
Scala 第十六讲 隐函数 从大数据菜鸟走上大师的历程 [此博文包含图片]
隐函数会自动创建与原定义相匹配的参数类型的apply方法(原视频21讲) 具体用法请参看如下示例var data = List(1,2,3,4,5) data.foreach(print _) println() data.foreach(x => print(x)) println() defsum(a:Int , b :Int ,c:Int原创 2015-12-08 22:16:51 · 457 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 第三讲:Tuple Array Map
Tuple 元组 操作 访问元组数据Var triple = (100,”hello”,”world”)Println(triple.1) 占位符 匹配调用元组元素Array 中有个ArrayBuffer 可扩展例如 val arr_buffer = new ArrayBuffer(1,2,3)Arr_buffer += 4 // ArrayBuffer(1,原创 2015-11-22 23:26:00 · 301 阅读 · 0 评论 -
Scala 第十七讲 闭包 从大数据菜鸟走上大师的历程
scala 闭包类似与javascript 中方法中的方法动态调用 如下示例 (原视频22讲)scala 闭包如下def add(n : Int) = (m : Int) => m +n //> add: (n: Int)Int => Int var a =add(1) //> a : Int =>原创 2015-12-10 07:03:27 · 313 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第五讲 Array [此博文包含图片]
一维数组val arr = new ArrayIntArrayBuffer val buffer = ArrayBufferInt 操作相对简单 就不列举如何操作了二维数组val arrs = new ArrayArray[Int] //> arrs : Array[Array[Int]] = Array(null, null) arrs原创 2015-11-24 21:53:07 · 249 阅读 · 0 评论 -
Scala 第十八讲 高阶函数 从大数据菜鸟走上大师的历程
来自原大数据王家林视频视频 23讲var triple = (x : Double) => 3 *x //> triple : Double => Double = Array(3.14,1.42, 2.0).map((x : Double) => 3 * x)原创 2015-12-12 18:36:03 · 306 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第六讲 Map Zip
关于Map 操作 val mymap = Map(“hello” -> 5,”test” -> 9) //> mymap : scala.collection.mutable.Map[String,Int] = Map(hello -> 5, test -> //| 9) m原创 2015-11-25 22:54:32 · 306 阅读 · 0 评论 -
从大数据菜鸟走上大师的历程 Scala 第七讲 类属性 私有对象
如果在类内部定义某个变量或对象为private 那么只有该类对象可以引用或调用该类的方法或属性,外部不能调用,但类内部方法中可以调用 ,如果有private[this]修饰的方法或属性只有类内部本身对象可以调用现在正是学习大数据的最好机遇,不花一分钱就可以成为大数据高手,实现年薪50万的梦想。王家林的第一个中国梦:免费为全社会培养100万名优秀的大数据从业人员!如果您有兴趣请点击这个链接进入大数据的原创 2015-11-26 23:01:31 · 264 阅读 · 0 评论