outshiner-CSDN博客

原创 bash脚本调用python程序

先建立一个spark/streaming/tmp目录将下面的脚本保存好后运行。#!/bin/bash# 清空旧数据rm -rf spark/streaming/tmp/* > /dev/null 2>&1rm spark/streaming/* > /dev/null 2>&1while [ 1 ]; do #调用python程序，重定向到

2017-02-19 20:15:32 152

原创 linux下写python，执行脚本

在linux输入python看是否已经安装。我的有python-minimal和python3两个选项所以可以直接输入python3编写python程序也可以用vim建立，比如输入vi helloworld.py写代码前要加上文件头: #!/bin/Python3要让其具有可执行权限，要在shell中输入：chmod 77

2017-02-19 15:21:28 139

原创再谈Iteratorr的两种用法

Iterator的两种用法对应的是两种Iterator例子：scala> var res = List[Int]()res: List[Int] = List()scala> :type res.iteratorIterator[Int]scala> :type Iterator(res)Iterator[List[Int]]//下面的代码段输出

2017-02-12 14:43:34 99

转载 Scala中常见的容器 Iterator (迭代器)

Scala Iterator（迭代器）不是一个集合，它是一种用于访问集合的方法。迭代器 it 的两个基本操作是 next 和 hasNext。调用 it.next() 会返回迭代器的下一个元素，并且更新迭代器的状态。调用 it.hasNext() 用于检测集合中是否还有元素。让迭代器 it 逐个返回所有元素最简单的方法是使用 while 循环：object Test { def main(a

2017-02-12 11:54:41 103

原创 scala 的 toString 和 mkString

toString 和 mkString大家都是熟知的scala> val abcde=List('a' ,'b', 'c', 'd', 'e')abcde: List[Char] = List(a, b, c, d, e)scala> abcde mkString("[",",","]")res7: String = [a,b,c,d,e]scala

2017-02-12 10:29:19 330

转载 Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?

Ubuntu出现的问题Description:无法获得锁 /var/lib/dpkg/lock - open (11 Resource temporarily unavailable)Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?Solution

2017-02-08 16:01:05 64

原创不能用Matlab的思维来对待Scala集合的运算

Scala中让集合的每个元素都变为原来的2倍，该用什么方法呢？比如 List(1,2,3,)想得到List(2,4,6)这样行吗？List(1,2,3)*2这样呢？List(1,2,3)+List(1,2,3)这样呢List(1,2,3)+List(1,2,3)以上3种方案都是不对的，前两种直接报错，后一种虽不会报错，但得到的是List(1,2,3,1,2,

2017-02-08 15:14:32 69

原创 foreach的用法

val m = Map[String, Int]("a" -> 1, "b" -> 2, "c" -> 3)m.foreach(p => println("key=" + p._1 + ", value=" + p._2))#对Map元素的引用的方法：p._1 p._2m.foreach((e: (String, Int)) => println("key=" + e._1 + ",

2017-02-08 10:15:32 167

原创 flatMap处理嵌套List flatMap嵌套map

List(List(1,2),List(3,4)).flatMap(x=>x.map(x=>x*2))

2017-02-08 10:03:02 406

原创 getOrElse的另一用法

val scores = Map(("Alice", 10), ("Bob", 3), ("Cindy", 8))scores.getOrElse("Bob", 0)res: Int = 3

2017-02-07 21:58:04 212

原创类定义的时候容易犯的错误

定义类的时候如果不声明val 和 var，scala不会警告和报错scala> class User(age: Int, id: Int, name: String)defined class Userscala> val userno1=new User(18, 1," dong")userno1: User = $iwC$$iwC$User@779b2f8b也不

2017-02-07 19:10:36 112

原创 Option和Some

def showmeSth(x: Option[String]) = x match { case Some(s) => s case None => "?"}showmeSth(Some("spark"))res0:String = spark下面的代码什么意思呢？def showmeSth2(x: Option[String]) = x match {

2017-02-07 16:52:06 75

原创 getOrElse 的参数

getOrElse的用法，记录一下：scala> val a = Some(1)a: Some[Int] = Some(1)scala> val getA = a.getOrElse(2)getA: Int = 112345getOrElse 的参数是get不到返回的值见下面的例子：val y=Noney.

2017-02-07 16:03:20 284

转载 List的++操作

注意你并不需要保证列表是相同类型的。Scala会自动选择最相关的父类：scala> val list1 = 0 to 10 toListlist1: List[Int] = List(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10)scala> val list2 = 10 to 0 by -1 toListlist2: List[Int] = List(10, 9, 8

2017-02-07 15:07:11 140

转载 scala中使用Option、Some、None，避免使用null

避免null使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。但是这对语言设计者来说是一件令人疑惑的选择。为什么要在程序员希望返回一个对象的时候返回一个关键字呢？Scala的Option类型为了让所有东西都是对象的目标更加一致，也为了遵循函数式编

2017-02-07 14:58:09 90

转载 scala中:: , +:, :+, :::, +++的区别

初学scala的人都会被Seq的各种操作符所confuse。下面简单列举一下各个Seq操作符的区别。4种操作符的区别和联系:: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, x::list等价于li

2017-02-07 14:55:28 63