spark
escaflone
这个作者很懒,什么都没留下…
展开
-
scala 常见问题
在idea中 使用 scala version 2.9.3,报错Error:object scala.reflect.ClassManifest not found....原创 2014-11-06 10:28:53 · 10677 阅读 · 3 评论 -
spark stand alone 集群部署
以Spark 1.1.0为例1、编译源码 ./make-distribution.sh --tgz --skip-java-test -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0(视情况更改配置)原创 2014-11-07 14:16:50 · 2800 阅读 · 0 评论 -
Scala 自学笔记 模式匹配和样例类
switchvar sign = ...val ch: Char = ...ch match{ // 无需像java一样 加break case '+' => sign =1 case '-' => sign = -1 case _ => sign = 0 // case _捕获所有,如果没有模式匹配,代码会抛出Match Error}与if类似,match也是表达式原创 2015-03-12 15:30:46 · 4185 阅读 · 0 评论 -
Scala 自学笔记 注解
注解注解在Java中广泛使用,我们可以对Scala类使用Java注解@Test (timeout = 100) def testSomeFeature(){...}@Entity class Credentials{ @Id @BeanProperty var username: String = _ @BeanProperty var password: String= _}原创 2015-03-13 10:47:23 · 14493 阅读 · 0 评论 -
Scala 自学笔记 操作符
反引号val `val` = 42 // 合法的这个示例很糟糕,但反引号有时可以派上用场,比如在Scala中yield 是一个保留字,但可能需要访问Java中一个同样命名的方法时,可以Thread.`yield`()中置操作符a 标识符 b (一个隐式参数和一个显式参数)1 to 101.to(10)1 -> 101.->(10)自定义操作符: 计算两个原创 2015-02-16 15:44:10 · 1635 阅读 · 0 评论 -
Scala 自学笔记3_特质
1、文件和正则表达式读取行import scala.io.Sourceval source = Source.fromFile("myfile.txt","UTF-8") //第一个参数可以是字符串或是java.io.File2// 如果文件使用的是当前平台缺省的字符编码,则可以略去第二个字符串编码参数val lineIterator = source.getLines //返回一个原创 2015-02-13 17:05:14 · 1634 阅读 · 0 评论 -
Scala 自学笔记2_类
4、类class Counter{ private var value = 0 // 必须初始化字段 def increment() { value += 1} //方法默认是公有的 def corrent() = value} //类无需声明为public , 源文件可以包含多各类,所有类都具有公有可见性。val myCounter = new Coun原创 2015-02-10 14:49:43 · 3227 阅读 · 0 评论 -
scala 自学笔记 高阶函数
作为值得函数变量中可以存放函数import scala.math._val num = 3.14 // Doubleval fun = ceil _ // (Double) => Double, fun设为ceil函数, _ 意味着确实指这个函数,而不是碰巧忘记参数。从技术上讲,_ 将ceil方法转成了函数,在scala中,无法直接操纵方法,而只能直接操纵函数。fun(num原创 2015-02-17 11:15:18 · 4020 阅读 · 0 评论 -
Scala 自学笔记
1、声明指和变量val answer = 8 * 5 + 2; //常量var counter = 0; //变量//在必要的时候 ,可以指定类型val greeting:String = nullval greeting:Any = "Hello"//可以将多个值或变量放在一起声明val xmax, ymax = 100 //xmax 和 ymax设为100var gree原创 2015-02-04 16:54:44 · 4728 阅读 · 0 评论 -
Spark MLlib
炼数成金 课程1、机器学习分类1)监督学习, 收集特征,把某一类特征归为归为一个目标,目标是由人标注的。如回归分析和统计分类,二元分类,如 垃圾邮件判断。多远分类,如网页归为体育,新闻,政治等。2)无监督学习,没有认为标注,常见无监督学习有 聚类。3)半监督学习,介于监督与无监督之间。4)增强学习,通过观察来学习学习做成如何的动作,每个动作都会对环境有所影响,学习对象根原创 2015-02-01 20:30:14 · 2055 阅读 · 1 评论 -
SparkSql 使用
炼数成金 课程SparkSql无需安装, 直接初始化SQLContext即可//启动spark-shellbin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g//RDD演示val sqlContext= new org.apache.spark.sql.SQLContext(原创 2015-01-29 16:06:05 · 6751 阅读 · 0 评论 -
hive 安装和使用
1、安装mysqlnetstat -tap|grep mysql 查看原创 2014-11-12 12:43:23 · 1505 阅读 · 0 评论 -
SparkStream 使用
炼数成金 课程1、监控本地文件夹下的文件信息import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.streaming.StreamingContext._object HdfsWordCount {原创 2015-01-31 16:26:04 · 12280 阅读 · 0 评论