大数据
longshuo1995
这个作者很懒,什么都没留下…
展开
-
Spark 部署安装
下载spark源码(或者选择合适Hadoop版本对应) spark.apache.org 一般下载源码 命令行的方式 bin/spark-shell –master local[2]提示 可视化webUI 4040/4041端口3. ...原创 2018-04-16 08:02:13 · 160 阅读 · 0 评论 -
Hadoop
1.大数据概述2.Hadoop三大组件: HDFS, yarn ,Map-Reduce3.Hive快速入门及使用原创 2018-04-16 13:13:20 · 128 阅读 · 0 评论 -
Scala 的基本使用(上册)
1.函数式编程2.变量类型 val 常量 var 变量 lazy val 惰性求值3.数据类型 AnyVal 基本数据类型: Numeric type Boolean Char Unit(void) AnyRef 引用类型4.代码块 其实函数 = 代码块代码块的格式分为下列两种, 最后一个表达式是返回值: 单行:...原创 2018-04-17 21:47:43 · 139 阅读 · 0 评论 -
YARN(资源调度框架)
原创 2018-05-10 13:31:14 · 301 阅读 · 0 评论 -
HIVE
简单 SQL语句 拓展能力 (底层是使用MapReduce, HDFS) 统一的元数据(共享例如与SparkSQL)发展历程 2014年 0.13.0版本 – 向量化查询 和 tez运行在YARN和MapReduce之上, 能将SQL翻译为Spark作业, MapReduce作业等HIVE 运行架构 RM NN DN NM ...原创 2018-05-11 16:21:59 · 167 阅读 · 0 评论 -
Scala 的基本使用(中册)
1.函数求值策略def foo(x: Int)call by value(求值确定且一定执行一次, 一般都采用这种方法) def foo(x:=>Int)call by name(有可能执行,也有可能不执行, 每次执行的时候回调用)2.匿名函数val foo = (a:Int, b:Int) =>a*b3.List操作1.拼接:var l1...原创 2018-05-14 13:21:03 · 100 阅读 · 0 评论 -
SparkSQL简介
1.why: 易学易用+受众广大2.shark hive on spark的理念, 之后种种弊端。 从入门到倒闭shark终止之后, 两个分支: hive on sparkspark on SQL n多产品原创 2018-05-15 14:17:32 · 120 阅读 · 0 评论