Ying

个人博客:http://smartsi.club/

排序:
默认
按更新时间
按访问量

Hadoop Trash回收站使用指南

我们在删除一个文件时,遇到如下问题,提示我们不能删除文件放回回收站:sudo -uxiaosi hadoop fs -rm -r tmp/data_group/test/employee/employee_salary.txt17/12/06 16:34:48 INFO fs.TrashPolic...

2017-12-22 09:37:49

阅读数:1418

评论数:0

[Flink]Flink1.3 指南二 安装与启动

1. 下载Flink 可以运行在 Linux, Mac OS X和Windows上。为了运行Flink, 唯一的要求是必须在Java 7.x (或者更高版本)上安装。Windows 用户, 请查看 Flink在Windows上的安装指南。你可以使用以下命令检查Java当前运行的版本:java -v...

2017-10-18 19:22:55

阅读数:1964

评论数:0

[Hive]Hive使用指南七 空值与NULL

1. NULL(null)值创建一个临时表tmp_null_empty_test,并插入一些NULL数据:CREATE TABLE IF NOT EXISTS tmp_null_empty_test( uid string ) ROW FORMAT DELIMITED FIELDS TERM...

2017-10-18 19:19:11

阅读数:4244

评论数:0

[ElasticSearch]ElasticSearch,Kibana安装与启动

1. 检查JDK版本使用如下命令检验JDK版本:xiaosi@Qunar:~$ java -version java version "1.7.0_40" Java(TM) SE Runtime Environment (build 1.7.0_40-b43) Java Hot...

2017-10-16 10:36:53

阅读数:751

评论数:0

[Scala]Scala学习笔记十 模式匹配

Scala有一个十分强大的模式匹配机制.可以应用在很多场合:switch语句,类型检查等等.此外Scala还提供了样例类,对模式匹配进行了优化.1. 更好的switch如下是Scala中C风格switch语句的等效代码:var sign = 2 val ch = '+' ch match { ...

2017-08-17 10:07:57

阅读数:644

评论数:0

[Scala]Scala学习笔记九 提取器

1. apply和update方法Scala允许你使用如下函数调用语法:f(arg1, arg2, ...) 扩展到可以应用于函数之外的值.如果f不是函数或方法,那么这个表达式就等同于调用:f.apply(arg1, arg2, ...) 如果它出现在赋值语句的等号左侧:f(arg1, arg2,...

2017-08-16 19:51:34

阅读数:468

评论数:0

[Scala]Scala学习笔记八 高阶函数

Scala混合了面向对象和函数式的特性.在函数式编程语言中,函数可以像任何其他数据类型一样被传递和操作.如果想要给算法传入明细动作时,只需要将明细动作包在函数当中作为参数传入即可.1. 作为值的函数在Scala中,函数就和数字一样,可以在变量中存放:import scala.math._ val...

2017-08-11 13:33:14

阅读数:474

评论数:0

[Scala]Scala学习笔记七 正则表达式

1. Regex对象我们可以使用scala.util.matching.Regex类使用正则表达式.要构造一个Regex对象,使用String类的r方法即可:val numPattern = "[0-9]+".r 如果正则表达式包含反斜杠或引号的话,那么最好使用"原始...

2017-08-08 10:15:54

阅读数:506

评论数:0

[AirFlow]AirFlow使用指南三 第一个DAG示例

经过前两篇文章的简单介绍之后,我们安装了自己的AirFlow以及简单了解了DAG的定义文件.现在我们要实现自己的一个DAG.1. 启动Web服务器使用如下命令启用:airflow webserver 现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI,例如...

2017-08-03 12:00:25

阅读数:13498

评论数:6

[AirFlow]AirFlow使用指南一 安装与启动

1. 安装通过pip安装:xiaosi@yoona:~$ pip install airflow 如果速度比较慢,可以使用下面提供的源进行安装:xiaosi@yoona:~$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple airfl...

2017-08-02 18:23:30

阅读数:4177

评论数:7

[Scala]Scala学习笔记六 文件

1. 读取行读取文件,可以使用scala.io.Source对象的fromFile方法.如果读取所有行可以使用getLines方法:val source = Source.fromFile("/home/xiaosi/exception.txt", "UTF-8&qu...

2017-08-02 12:09:01

阅读数:507

评论数:0

[Scala]Scala学习笔记五 Object

1. 单例对象Scala没有静态方法或静态字段,可以使用object来达到这个目的,对象定义了某个类的单个实例:object Account{ private var lastNumber = 0 def newUniqueNumber () = {lastNumber += 1; las...

2017-07-31 12:04:32

阅读数:1102

评论数:0

[Scala]Scala学习笔记四 类

1. 简单类与无参方法class Person { var age = 0 // 必须初始化字段 def getAge() = age // 方法默认为公有的 } 备注在Scala中,类并不声明为public. Scala源文件可以包含多个类,所有这些类都具有公有可见性.属性不声明默认为p...

2017-07-31 12:03:11

阅读数:456

评论数:0

[Scala]Scala学习笔记三 Map与Tuple

1. 构造映射可以使用如下命令构造一个映射:scala> val scores = Map("Alice" -> 90, "Kim" -> 89, "Bob"-> 98) scores: scala.collect...

2017-07-26 11:02:07

阅读数:482

评论数:0

[Git]Git指南一 查看创建删除标签

1. 查看标签列出现有标签,使用如下命令:xiaosi@yoona:~/code/learningnotes$ git tag r-000000-000000-cm.cm v1.0.0 v1.0.1 我们可以用特定的搜索模式列出符合条件的标签。如果只对1.0系列的版本感兴趣,可以运行如下命令:x...

2017-07-25 14:46:45

阅读数:1433

评论数:0

[Scala]Scala学习笔记二 数组

1. 定长数组如果你需要一个长度不变的数组,可以使用Scala中的Array.val nums = new Array[Int](10) // 10个整数的数组 所有元素初始化为0 val strs = new Array[String](10) // 10个字符串的数组 所有元素初始化为null...

2017-07-25 13:41:57

阅读数:539

评论数:0

[Scala]Scala学习笔记一 基础

1. 变量val定义的值实际上是一个常亮,无法改变其内容 scala> val num = 0 num: Int = 0 scala> num = 2 :12: error: reassignment to val num = 2 ^ 如果要声明...

2017-07-24 20:27:45

阅读数:386

评论数:0

[Mvel]Mvel2.0使用指南一 基础

MVEL在很大程度上受到Java语法的启发,作为一个表达式语言,也有一些根本的区别,旨在更高的效率,例如:直接支持集合、数组和字符串匹配等操作以及正则表达式。 MVEL用于执行使用Java语法编写的表达式。除了表达语言之外,MVEL还可用作配置和字符串构造的模板语言。MVEL2.x表达式包含以下部...

2017-07-17 15:22:32

阅读数:7133

评论数:0

[Redis]Redis指南二 配置

我们可以通过redis-server的启动参数port设置了Redis的端口号,除此之外Redis还支持其他配置选项,如是否开启持久化,日志级别等.由于可以配置的选项较多,通过启动参数设置这些选项并不方便,所以Redis支持通过配置文件来设置这些选项.启动配置文件的方法在启动时将配置文件的路径作为...

2017-06-28 20:33:12

阅读数:292

评论数:0

[Shell]tr命令使用指南

1. 用途tr,translate的简写,主要用于压缩重复字符,删除文件中的控制字符以及进行字符转换操作。2. 语法tr [OPTION]... SET1 [SET2]3. 参数3.1 -s 压缩重复字符-s: squeeze-repeats,用SET1指定的字符来替换对应的重复字符 (repla...

2017-06-16 14:20:32

阅读数:587

评论数:0

提示
确定要删除当前文章?
取消 删除