- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大数据系列-scala流程控制
Scala流程控制if的使用scala> val x= if("hello"=="hello") 1 else 0x: Int = 1while的使用scala> def gcdloop(x:Long,y:Long): Long={ var a=x var b=y while (a !=0){ val
2017-04-26 22:48:04
531
原创 大数据系列-scala类型定义
核心 1、scala的基本类型 2、scala的类型操作scala的基本类型 scala中的基本数据类型有 类型 范围 Byte 8位 Short 16位 Int 32位 Long 64位 Char 16位 String a sequence of Chars Float 32位 Double
2017-04-25 22:12:18
3967
原创 Spark Streaming流数据处理框架-快速入门
核心 1、Spark Streaming的快速入门 随着大数据的发展，人们对大数据的处理要求也越来越高，与传统的Mapreduce等批处理框架在某些特定领域(如实时用户推荐、用户行为分析)已经无法满足人们对实时性的需求，因此诞生了一批如S4,storm的流式的、实时计算框架，而spark由于其优秀的调度机制，快速的分布式计算能力，能够以极快的速度进行迭代计算。正是由于spark的这些优
2017-04-23 23:41:21
1160
原创 Spark基础-为什么选择spark
核心 1、spark大数据处理框架 2、RDD表达能力 3、Spark子系统1、Spark大数据处理框架 Mapreduce及各种专有系统中出现的不足，伯克利大学推出了全新的统一大数据处理框架spark，创新性地提供了RDD概念(一种新的抽象的弹性数据集)，在某种程度上spark的对Mapreduce模型的一种扩展，要在Mapreduce上实现其不擅长的计算工作(比如迭代式、交互式和流式
2017-04-17 23:19:28
985
原创 linux下面sort的使用
核心 sort的介绍和使用sort 它将文件进行排序，并将排序的结果标准输出，sort命令既可以从特定的文件，也可以从 stdin中获取输入 语法 sort 选项 参数-b 忽略每行前面开始处的空格符 -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符 -f 排序时，将小写字母视为大写字母 -i 排序时,除了040至176之间的ASCII字符外，忽略其他的字符 -M 将前面
2017-04-13 00:05:17
779
原创 linux下sed的使用
核心 sed的介绍和使用 sed是一种流编辑器，它是文本处理中非常见的工具，能够完美的匹配正则表达式使用，处理时，把当前处理的行存储到临时缓冲区中， 称为”模式空间”,接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕，接着处理下一行，这样不断重复，直到文件末尾。 文件内容并没有改变，除非你使用重定向存储输出，sed主要用来自动编辑一个或多个文件，简化对文件的反复操作，编
2017-04-03 09:10:51
625
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人