2017年12月_anoperA

原创进程同步--临界区保护(1)_轮转法

就像值日一样, 设定好值日表, 你一三五, 我二四六下面的代码使用轮转法实现生产者消费者不断地轮转生产消费#include <stdio.h>#include <pthread.h>#include <stdlib.h>#include <typeinfo.h>#include <sys/time.h>#include <unistd.h>#define MAX_NUM 10int co

2017-12-21 21:22:16 302

原创 Scala--占位符

Scala中_(下划线)有非常多的用途, 比如用作占位符.一个或者更多参数的占位符val nums = List(1,2,3,4)nums.filter(x => x>3)nums.filter(_>2)

2017-12-08 16:45:54 1097

原创 Scala--String Interpolation

Scala支持以下几种字符串插入: s, 内容可以使用引用变量,使用引用变量, 使用{}引用表达式, 类似于JSP中的El表达式. f, 内容可以使用%s, %d等占位符, 类似于C语言中的printf(print format), 但是要结合$符号用. raw, 里面的类容会作为原始内容, 不会有任何改变val age = 33//插入变量println(s"I'm $age

2017-12-08 13:48:30 537

原创 Scala--Function1

在Scala中, 函数也是一种对象, 可以通过某个函数生成函数.//生成只有一个参数的函数, 输入参数为整形, 结果类型也为整形val add = new Function1[Int, Int] = { def apply(x:Int):Int = { x + 1 }}//生成有两个参数的函数, 输入参数为整形, 结果类型也为整形val add = new F

2017-12-08 10:18:50 1147

A method with implicit parameters can be applied to arguments just like a normal method. In this case the implicit label has no effect. However, if such a method misses arguments for its implicit param

2017-12-06 10:41:18 636

原创 Scala--Import and Package

//单个类的导入import util.Random//导入两个类import util.Random, util.Properties//导入util包中的两个类import util.{Random, Properties}//设置导入类的别名import util.{Random=>Bob, Properties=>Prop}//导入包中所有的类, 类似于java中的*import

2017-12-05 10:20:01 982

原创 Spark SQL(01)--Overview

Overview 1. Spark SQL用于处理结构化数据. 2. 可以使用SQL shell或者是Dataset api进行交互 3. 除了可以和已存在的文件进行查询, 还能结合Hive或者其他数据库连接(如JDBC和ODBC)Dataset是一个分布式数据集合.可以通过JVM Object转换为Dataset然后通过常见的RDD函数进行操作.DataFrame一个有列名字的

2017-12-05 09:44:29 191

原创 Hadoop--org.apache.hadoop.fs.FileSystem

代码基于Hadoop2.7.4 org.apache.hadoop.fs.FileSystem Ref An abstract base class for a fairly generic filesystem. It may be implemented as a distributed filesystem, or as a “local” one that reflects t

2017-12-01 16:27:49 2487

a1158375969的专栏