小刘干饭第一名-CSDN博客

原创大数据之Hadoop2.0框架之YARN

文章目录1.Yarn概念2.Yarn核心思想2.1 MapReduce2.2 Yarn MR23.Yarn工作流程3.Yarn核心组件概念3.1 ResouceManager3.2 NodeManager3.3 ApplicationManager3.4 container4.容错能力1.Yarn概念定位：可以理解成分布式操作系统作用：资源整合，让系统资源得到最大化利用，同一套硬件集群中可以运行多个任务（mr,spark,flink…）2.Yarn核心思想2.1 MapReduce2.2 Ya

2021-01-20 17:30:50 678 2

原创大数据开发之Flume实践

文章目录1. 通过netcat作为source, sink为logger的方式1.1 conf文件配置1.2 启动控制台1.3 远程连接端口1.4 测试2. 通过netcat作为source, sink为logger的方式，只留字母，过滤掉数字2.1 配置conf文件2.2 启用控制台和远程连接2.3 测试1. 通过netcat作为source, sink为logger的方式1.1 conf文件配置# example.conf: 一个单节点的 Flume 实例配置# 配置Agent a1各个组

2021-01-20 17:28:24 552

原创大数据开发之Flume基础

一、Flume基础1. Flume是什么Flume是数据采集，日志收集的框架，通过分布式形式进行采集Flume本质：可以高效从各个网站服务器中收集日志数据，并且存储到HDFS、hbase2. Flume的功能– 支持在日志系统中定制各类数据发送方，用于收集数据– Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力3. Flume数据源Console、RPC、Text、Tail、Syslog、Exec等4. Flume特性Flume 是一个分布式、可靠、和高可用的海量日

2021-01-17 22:04:26 312

原创 Scala入门【条件表达式循环】

文章目录1.条件表达式1.1 if语句1.2 if ...else语句1.3 if..else if...else语句2.循环2.1 for循环2.1.1 循环集合2.1.2 for循环集合2.1.3 for 循环过滤2.2 while循环2.3 do...while 循环2.4 break语句1.条件表达式1.1 if语句if语句语法格式if(布尔表达式){ // 如果布尔表达式为 true 则执行该语句块}object Scala_if_else { def main(args

2021-01-07 13:51:56 336

原创 Scala入门之【常量变量数据类型 lazy】

1.常量与变量var VS valval ：值，一旦指定，不能改变语法：val 值名称：类型=xxxx其中，：类型可以省略不写，scala会自动识别出来var：变量，初始值可以改变语法： var 值名称：类型=xxxx其中，：类型可以省略不写，scala自动识别出来scala> val name="zhang"name: String = zhangscala> val name="san"name: String = sanscala> val name="z

2021-01-07 10:05:56 175

原创 Hadoop数据仓库框架Hive：常用业务实践

文章目录1.建立测试库并切换到测试库2.建立orders和trains表2.1表字段分析查看表内容插入数据查询数据字段说明2.2 建立trains表建表插入数据并查询前10行清理第一行脏数据并查看效果3.常见业务操作3.1 每个用户有多少个订单3.2 每个用户一个订单平均有多少商品（1）一个订单有多少商品（2）每个用户对应的商品量（3）计算每个用户对应的平均商品量4.每个用户在一周中的购买订单的分布5.某个时间段查看每个用户购买了哪些商品6.想知道距离现在最近或者最远的时间7.判断用户在那一天比较活跃8.

2020-12-25 23:21:08 665

原创 Hive基础之数据模型相关操作

文章目录一.内部表1.内部表建表2.内部表删除(1)仅删除表中数据，保留表结构(2)删除表和数据二.外部表1.外部表建表语句2.外部表在HDFS查询数据3.内部表与外部表的区别三.分区表1.分区表建表2.向分区表中导入数据3.查询分区表数据4.查看存储在HDFS上的数据5.删除分区四.分桶表1.建表2.向分桶表中导入数据3.在HDFS查看结果五.向表中导入数据1.从本地导入2.从HDSF导入六.Hive建表方式总结1.直接建表法（内外部表，分区/桶表）2.抽取（as）建表3.like建表一.内部表1.内

2020-12-21 18:20:01 824

原创 Hadoop 之Hive安装

1.下载软件包[root@master src]# wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz--2020-12-13 17:34:29-- http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz正在解析主机 mirror.bit.edu.cn (mirror.bit.edu.cn).

2020-12-14 18:13:47 662

原创 Hadoop 入门之HDFS Shell命令基础

1.查看所有目录及文件-ls[root@master sbin]# hadoop fs -ls /Found 2 items-rw-r--r-- 2 root supergroup 1005 2020-12-07 14:57 /core-site.xmldrwxr-xr-x - root supergroup 0 2020-12-07 18:04 /dzw2.在hdfs下创建目录-mkdir[root@master sbin]# hadoop fs -

2020-12-08 11:34:43 152

qq_38247237的博客