- 博客(8)
- 收藏
- 关注
RSS订阅原创 kafka基础
Kafka 中的术语broker：中间的kafka cluster，存储消息，是由多个server组成的集群。topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。producer：往broker中某个topic里面生产数据。consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broker中间的kafka cluster，存储消息，是由多个server组成的集群。2、topic与消息kafka将所有消息组织成多个
2020-05-26 19:22:00
171
原创 HIVE基础
什么是hive：是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张表，并提供SQL查询功能。本质：将HQL转化成MapReduce程序；1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上1.2.1 优点1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。2)避免了去写MapReduce，...
2020-05-26 18:18:43
157
原创 Scala基础复习（1）
Scala 简介Scala 是 Scalable Language 的简写，是一门多范式的编程语言联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。Funnel是把函数式编程思想和Petri网相结合的一种编程语言。Odersky先前的工作是Generic Java和javac（Sun Java编译器）。Java平台的Scala于2003年底/2004年初发布。.NET平台的Scala发布于2004年6月。该语言第二个版本，v2.0，发布于
2020-05-22 15:52:30
308
原创 spark知识点总结
**1、Spark简介** 1）、Spark的历史：2012年发布初始版本0.6版本，已经有6年的历史了。 2）、Spark的创始人：美国加州大学的伯克利分校的AMP实验室。 3）、Spark比MR快的原因： ①Spark是粗粒度的资源调度，资源复用。 ②Spark支持基于内存迭代，MR不支持。 ③Spark支持DAG有向无环图 task pipleline。 ④...
2020-02-14 14:56:21
317
原创 2.1 Flume安装地址
2.1 Flume安装地址1） Flume官网地址http://flume.apache.org/2）文档查看地址http://flume.apache.org/FlumeUserGuide.html3）下载地址http://archive.apache.org/dist/flume/2.2 安装部署1）将apache-flume-1.7.0-bin.tar.gz上传到linux的...
2019-11-29 11:47:56
255
原创 大数据技术之Hadoop（入门）
大数据技术之Hadoop（入门）第1章 大数据概论1.1 大数据概念大数据概念如图下图所示。图2-1 大数据概念1.2 大数据特点（4V）大数据特点如图2-2，2-3，2-4，2-5所示图2-2 大数据特点之大量图2-3 大数据特点之高速图2-4 大数据特点之多样图2-5 大数据特点之低价值密度1.3 大数据应用场景大数据应用场景如图2-6，2-7，2-8，2-9，2-10...
2019-11-10 21:15:50
359
原创 大数据技术之Shell
大数据技术之Shell第1章 Shell概述第2章 Shell解析器（1）Linux提供的Shell解析器有：[jinghnag@hadoop101 ~]$ cat /etc/shells/bin/sh/bin/bash/sbin/nologin/bin/dash/bin/tcsh/bin/csh（2）bash和sh的关系[jinghnag@hadoop101 bin]$ ...
2019-11-10 21:15:22
301
原创 Linux的基本安装，与常用指令
Linux目录结构简介：目录结构 说明/bin 是Binary的缩写,这个目录存放着最经常使用的命令/sbin s就是Super User的意思,这里存放的系统管理员使用的系统管理程序/home 存放普通用户的主目录,在Linux中每个用户都有自己的一个目录,一般该目录是以用户的账户命名/root 该目录为系统管理员,也称作超级权限者的用户主目录/lib 系统开机所需要最基本的动态连接...
2019-11-10 21:12:17
216
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人