2015年05月_一流小风一

原创初学spark--scala--45

spark1.3.1默认不支持Hive，如果想要在SparkSQL中使用HiveContext需要自己编译spark的版本。在Hive里定义一个数据库saledata和三个表MDate、MStock、MStockDetail，并装载数据，具体命令如下：CREATE DATABASE SALEDATA;use SALEDATA;//Date.txt定义了日期的分类，将每天分别赋予

2015-05-31 21:45:24 566

原创 spark：线性回归--44

从上次更新博客到现在整整十天，这期间一直试着学习线性回归算法：Linear Regression，以前只看过数据结构的算法从没学过这种类型的算法。先了解算法的原理再去看代码，但我觉得自己想要独立写出线性回归的完整代码还有很长路要走···写一些对线性回归算法的心得···一：先写一些在看书过程中随手写的一些小概念，比较乱回归分析就是利用样本（已知数据），产生拟合方程，从而（对未知数据）迚行预测

2015-05-25 17:12:28 1583

原创 spark：总结篇--43

我先吹会儿牛···最近又重新看了一遍《Spark大数据处理：技术、应用与性能优化》的spark框架和运算模型这两章，随着时间的推移每一次都能看到比之前更深一点的东西，我想这就是收获吧···《Spark快速数据处理》这是我看的第一本关于spark的书，启蒙教材《Spark大数据处理技术》这本书图书馆一直显示在订购中···《Apache Spark源码剖析》估计我是当当网这本书的前几个买家

2015-05-15 00:09:02 878

原创 spark：学习杂记--42

《快学scala》第十一章课后习题：1.根据优先级规则,3 + 4 -> 5和3 -> 4 + 5是如何被求值的？2.BigInt类有一个pow方法,但没有用操作符字符。Scala类库的设计者为什么没有选用**(像Fortran那样)或者^(像Pascal那样)作为乘方操作符呢？3.实现Fraction类，支持+*/操作。支持约分，例如将15/-6变为-5/2。除以最大公约数,像这样:

2015-05-14 23:47:16 558

原创 spark：学习杂记+案例--41

《快学scala》第十章课后习题：1 .java.awt.Rectangle类有两个很有用的方法translate和grow,但可惜的是像java.awt.geom.Ellipse2D这样的类没有。在Scala中，你可以解决掉这个问题。定义一个RenctangleLike特质,加入具体的translate和grow方法。提供任何你需要用来实现的抽象方法,以便你可以像如下代码这样混入该特质: v

2015-05-10 23:21:32 448

原创 spark：学习杂记+案例--40

《快学scala》第九章课后习题：1.编写一小段Scala代码，将某个文件中的行倒转顺序(将最后一行作为第一行,依此类推)2.编写Scala程序,从一个带有制表符的文件读取内容,将每个制表符替换成一组空格,使得制表符隔开的n列仍然保持纵向对齐,并将结果写入同一个文件3.编写一小段Scala代码,从一个文件读取内容并把所有字符数大于12的单词打印到控制台。如果你能用单行代码完成会有额外奖

2015-05-10 23:07:06 497

原创 spark：学习杂记--39

《快学scala》第七章课后习题：1.编写示例程序，展示为什么package com.horstmann.impatient不同于package compackage horstmannpackage impatient2.编写一段让你的Scala朋友们感到困惑的代码，使用一个不在顶部的com包这样可以吗？3.编写一个包random,加入函数nextInt():In

2015-05-07 22:40:03 462

原创 spark：学习杂记--38

《快学scala》第五章课后习题：1.改进5.1节的Counter类,让它不要在Int.MaxValue时变成负数2.编写一个BankAccount类，加入deposit和withdraw方法，和一个只读的balance属性3.编写一个Time类，加入只读属性hours和minutes，和一个检查某一时刻是否早于另一时刻的方法before(other:Time):Boolean。Tim

2015-05-07 22:27:57 510

原创 spark：学习杂记--37

《快学scala》第四章课后习题：1.设置一个映射,其中包含你想要的一些装备，以及它们的价格。然后构建另一个映射，采用同一组键，但是价格上打9折2.编写一段程序，从文件中读取单词。用一个可变映射来清点每个单词出现的频率。读取这些单词的操作可以使用java.util.Scanner:3.重复前一个练习，这次用不可变的映射4.重复前一个练习，这次使用已排序的映射，以便单词可以按顺序

2015-05-05 00:23:16 559

原创 spark：学习杂记--36

快学scala第三章课后题：1.编写一段代码，将a设置为一个n个随机整数的数组，要求随机数介于0(包含)和n(不包含)之间.package KSimport scala.util.Random/** * Created by sendoh on 2015/5/2. */object answer1 { def main(args: Array[String]): Unit

2015-05-03 23:14:39 742

原创 spark：学习杂记+仿写案例--35

1.LogQuery：以MapReduce方式处理Apachelog//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////package llfimport org.apache.spark

2015-05-03 23:02:49 472

花满楼