- 博客(8)
- 收藏
- 关注
RSS订阅原创 kafka基础
Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。 Kafka 中的术语设计： 1、Broker 中间的kafka cluster，存储消息，是由多个server组成的集群。 2、topic与消息 kafka将所有消息组织成多个
2020-05-26 19:22:00
223
原创 HIVE基础
什么是hive：是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张表，并提供SQL查询功能。 本质：将HQL转化成MapReduce程序； 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1.2.1 优点 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2)避免了去写MapReduce，...
2020-05-26 18:18:43
186
原创 Scala基础复习（1）
Scala 简介 Scala 是 Scalable Language 的简写，是一门多范式的编程语言 联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。 Funnel是把函数式编程思想和Petri网相结合的一种编程语言。 Odersky先前的工作是Generic Java和javac（Sun Java编译器）。Java平台的Scala于2003年底/2004年初发布。.NET平台的Scala发布于2004年6月。该语言第二个版本，v2.0，发布于
2020-05-22 15:52:30
341
原创 spark知识点总结
** 1、Spark简介 ** 1）、Spark的历史：2012年发布初始版本0.6版本，已经有6年的历史了。 2）、Spark的创始人：美国加州大学的伯克利分校的AMP实验室。 3）、Spark比MR快的原因： ①Spark是粗粒度的资源调度，资源复用。 ②Spark支持基于内存迭代，MR不支持。 ③Spark支持DAG有向无环图 task pipleline。 ④...
2020-02-14 14:56:21
352
原创 2.1 Flume安装地址
2.1 Flume安装地址 1） Flume官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 2.2 安装部署 1）将apache-flume-1.7.0-bin.tar.gz上传到linux的...
2019-11-29 11:47:56
286
原创 大数据技术之Hadoop（入门）
大数据技术之Hadoop（入门） 第1章 大数据概论 1.1 大数据概念 大数据概念如图下图所示。 图2-1 大数据概念 1.2 大数据特点（4V） 大数据特点如图2-2，2-3，2-4，2-5所示 图2-2 大数据特点之大量 图2-3 大数据特点之高速 图2-4 大数据特点之多样 图2-5 大数据特点之低价值密度 1.3 大数据应用场景 大数据应用场景如图2-6，2-7，2-8，2-9，2-10...
2019-11-10 21:15:50
395
原创 大数据技术之Shell
大数据技术之Shell 第1章 Shell概述 第2章 Shell解析器 （1）Linux提供的Shell解析器有： [jinghnag@hadoop101 ~]$ cat /etc/shells /bin/sh /bin/bash /sbin/nologin /bin/dash /bin/tcsh /bin/csh （2）bash和sh的关系 [jinghnag@hadoop101 bin]$ ...
2019-11-10 21:15:22
347
原创 Linux的基本安装，与常用指令
Linux目录结构简介： 目录结构 说明 /bin 是Binary的缩写,这个目录存放着最经常使用的命令 /sbin s就是Super User的意思,这里存放的系统管理员使用的系统管理程序 /home 存放普通用户的主目录,在Linux中每个用户都有自己的一个目录,一般该目录是以用户的账户命名 /root 该目录为系统管理员,也称作超级权限者的用户主目录 /lib 系统开机所需要最基本的动态连接...
2019-11-10 21:12:17
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人