- 博客(7)
- 收藏
- 关注
RSS订阅原创 正反向代理服务器的区别
正向代理：无法直接访问目标服务器，需要通过其他服务器间接访问目标服务器。反向代理：需要一个中间服务器，来代理多个目标服务器。两者区别：正向代理代理的对象是客户端，反向代理代理的对象是服务端...
2021-03-19 18:29:57
162
原创 kafka详解 从原理到应用
第一章 kafka概述1.1 定义kafka是一个分布式的基于发布/订阅模式的消息队列（message queue），主要用于大数据实时处理。在实际应用场景中，kafka通常是加在flume通道之间，起到一个削峰缓冲的作用。1.2 消息队列1.2.1 消息队列的应用场景可以看到，同步和异步的最大区别在于异步无需等到终端接收到消息，便能够收到页面注册成功的相应。使用消息队列的好处1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）可恢复性系统的一部分组件失效
2021-01-26 08:42:29
301
1
原创 flume详解 从原理到应用
第一章 flume概述1.1 flume定义flume是cloudera提供的一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统。flume基于流式架构，灵活简单。flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入HDFS或kafka消息队列中。1.2 flume基础架构flume的组成架构如图所示：1.2.1 agentagent是一个jvm进程，他以事件的形式将数据从源头送至目的地。agent主要有3个部分组成：source、channel、sink1.2
2020-11-17 20:37:44
1442
原创 shell详解 从原理到应用
第一章 Shell 概述总的来说，shell其实就是一个命令行解释器，它用来接收应用程序或者用户的命令，然后调用操作系统内核来完成相应的任务。这里所说的命令行解释器需要好好地理解下，说成大白话，解析器的实质就是将用户输入的指令转化为机器可以运行的程序，从而可以达到满足用户需求的目的。我们为什么要用shell：shell是一个强大的编程语言，易编写、易调试、灵活性强。在linux中，我们常常编写shell脚本来满足我们的部分需求。例如，集群启动脚本，文件复制分发脚本。1）linux中提供的shell
2020-11-11 23:11:52
277
原创 shell中i++（自增）和i--（自减）操作
shell中不支持像java语言中的i++操作，所以在shell中想要解决自增或者自减的需求需要改用其他的方式，通过以下几种方式可以进行变量的自增加：首先声明需要自增加的变量：i=1方式一： i=$(($i+1))方式二：i=$[$i+1]方式三：i=`expr $i + 1`方式四：let i++方式五：let i+=1注意：此处的let代表运算表达式，也可以用(( ))来代替let自减操作反之。...
2020-11-10 22:31:21
10397
原创 Hive原理、安装和环境部署
第1章 Hive基本概念1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序。（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Yarn上1.2Hive的优缺点1.2.1 优点（1）操作接口采用类SQL语法，提供快速开发的能力（简单、容易上
2020-11-04 21:01:57
496
1
原创 Hadoop3x，Hadoop2x新特性
一、Hadoop2x的新特性1.集群间的数据拷贝（1）scp实现两个远程主机之间的文件复制（2）采用distcp命令实现两个Hadoop集群之间的递归数据复制2.小文件存档（1）HDFS存储小文件弊端（2）解决存储小文件具体办法（3）案例实操3.回收站（1）开启回收站功能参数说明（2）回收站工作机制（3）案例实操二、Hadoop3x的新特性1.多NN的HA架构HDFS NameNode高可用性的初始实现为单个活动NameNode和单个备用NameNode，将edits复制到三个J
2020-10-20 19:21:19
304
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人