大数据
longshuo1995
这个作者很懒,什么都没留下…
展开
-
Spark 部署安装
下载spark源码(或者选择合适Hadoop版本对应) spark.apache.org 一般下载源码 命令行的方式 bin/spark-shell –master local[2] 提示 可视化webUI 4040/4041端口 3. ...原创 2018-04-16 08:02:13 · 170 阅读 · 0 评论 -
Hadoop
1.大数据概述 2.Hadoop三大组件: HDFS, yarn ,Map-Reduce 3.Hive快速入门及使用原创 2018-04-16 13:13:20 · 134 阅读 · 0 评论 -
Scala 的基本使用(上册)
1.函数式编程 2.变量类型 val 常量 var 变量 lazy val 惰性求值 3.数据类型 AnyVal 基本数据类型: Numeric type Boolean Char Unit(void) AnyRef 引用类型 4.代码块 其实函数 = 代码块 代码块的格式分为下列两种, 最后一个表达式是返回值: 单行: ...原创 2018-04-17 21:47:43 · 145 阅读 · 0 评论 -
YARN(资源调度框架)
原创 2018-05-10 13:31:14 · 318 阅读 · 0 评论 -
HIVE
简单 SQL语句 拓展能力 (底层是使用MapReduce, HDFS) 统一的元数据(共享例如与SparkSQL) 发展历程 2014年 0.13.0版本 – 向量化查询 和 tez 运行在YARN和MapReduce之上, 能将SQL翻译为Spark作业, MapReduce作业等 HIVE 运行架构 RM NN DN NM ...原创 2018-05-11 16:21:59 · 175 阅读 · 0 评论 -
Scala 的基本使用(中册)
1.函数求值策略 def foo(x: Int) call by value(求值确定且一定执行一次, 一般都采用这种方法) def foo(x:=>Int) call by name(有可能执行,也有可能不执行, 每次执行的时候回调用) 2.匿名函数 val foo = (a:Int, b:Int) =>a*b 3.List操作 1.拼接: var l1...原创 2018-05-14 13:21:03 · 110 阅读 · 0 评论 -
SparkSQL简介
1.why: 易学易用+受众广大 2.shark hive on spark的理念, 之后种种弊端。 从入门到倒闭 shark终止之后, 两个分支: hive on spark spark on SQL n多产品原创 2018-05-15 14:17:32 · 128 阅读 · 0 评论