- 博客(126)
- 收藏
- 关注
RSS订阅原创 Hive大总结！！！
文章目录Hive一、Hive简介及核心概念1、Hive概述2、Hive特点2.1、优点2.2、缺点2.3、Hive使用场景3、Hive基本架构原理4、数据处理流程5、Hive 和数据库比较5.1、查询语言5.2、数据存储位置5.3、数据更新5.4、索引5.5、执行5.6、执行延迟5.7、可扩展性5.8、数据规模二、Hive安装及配置1、Hive 安装地址2、Hive 安装部署3、元数据配置3.1、...
2020-03-29 22:44:47
5714
原创 Hadoop-HA高可用分布式集群总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录Hadoop-HA高可用分布式集群一、HA概述二、HDFS-HA 工作机制1、HDFS-HA 工作要点2、HDFS-HA 自动故障转移工作机制三、总体配置及准备规划1、集群规划2、准备工作3、修改配置文件四、HDFS-HA 集群配置1、配置HDFS-HA集群2、配置 HDFS-HA 自动故障转移五、YARN-HA 配置1、YARN-HA 工作机制...
2020-03-14 14:47:48
1216
原创 Zookeeper总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录Zookeeper一、Zookeeper概述1、概述2、特点3、数据结构4、应用场景5、下载地址二、Zookeeper 安装1、本地模式安装部署1.1、前置准备1.2、安装配置1.3、启动Zookeeper2、zoo.cfg 文件中配置参数解读三、Zookeeper 内部原理1、选举机制2、节点类型3、stat 结构体4、监听器原理4.1、监听原...
2020-03-11 22:12:05
1248
原创 Hadoop企业级优化总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录Hadoop企业级优化一、MapReduce 跑的慢的原因二、MapReduce 优化方法1、数据输入2、Map 阶段3、Reduce 阶段4、IO 传输5、数据倾斜问题5.1、什么是数据倾斜？5.2、数据倾斜原因5.3、解决办法6、常用的调优参数6.1、资源相关参数6.1.1、以下参数是在用户自己的 mr 应用程序中配置就可以生效（mapred...
2020-03-11 21:48:51
602
原创 YARN总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录Yarn一、Yarn 概述二、Yarn 基本架构三、Yarn 工作机制四、作业提交全过程五、资源调度器1、先进先出调度器（FIFO）2、容量调度器（Capacity Scheduler）3、公平调度器（Fair Scheduler）六、任务的推测执行1、作业完成时间取决于最慢的任务完成时间2、推测执行机制：3、执行推测任务的前提条件4、不能启用推...
2020-03-11 21:19:29
247
原创 Hadoop数据压缩总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录Hadoop数据压缩一、概述二、MR 支持的压缩编码1、压缩格式2、编码/解码器3、压缩性能的比较三、压缩方式选择1、Gzip 压缩2、Bzip2 压缩3、Lzo 压缩4、Snappy 压缩四、压缩位置选择五、压缩位置选择六、压缩实操案例1、数据流的压缩和解压缩2、Map 输出端采用压缩3、Reduce 输出端采用压缩Hadoop数据压缩一、...
2020-03-11 20:42:21
476
原创 MapReduce练习题
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录MapReduce练习题一、单选题二、描述题三、MR排序练习案例1、统计手机用户信息1、统计每年、每月各个网站的总的上行流量和下行流量2、统计每年、每月各个网站的总的上行流量排名前两名的网站3、统计每年、每月各个网站的总流量排后两名的网站4、统计136，138手机用户，在2018年访问各个网站总流量排名前1的用户2、统计营业额信息1、计算出每个加...
2020-03-07 22:49:49
14622
7
原创 MapReduce框架详解
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录MapReduce框架详解1、Job提交源码分析2、输入端InputFormat2.1、FilelnputFormat切片原则（默认）2.1.1、切片的原则2.1.2、修改切片大小2.1.3、获取切片信息 API2.1.4、代码测试2.2、CombineTextinputFomat切片原则2.2.1、关于大量小文件的优化策略2.2.1.1、缺点2...
2020-02-29 04:03:55
614
原创 MapReduce工作流程(Job与Shuffle)总结
MapReduce 工作流程1、MapReduce作业执行流程1.1、提交作业客户端向ResourceManager提交作业。首先，用户需要将所有应该配置的参数根据需求配置好。作业提交之后，就会进入自动化执行。在这个过程中，用户只能监控程序的执行情况和强制中断作业，但是不能对作业的执行过程进行任何干预。提交作业的基本过程如下：（1）、客户端通过**Runjob()**方法启动作业提交。...
2020-02-29 03:19:05
1026
原创 Hadoop序列化总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录Hadoop序列化1、序列化理解1.1、序列化定义1.1.1、概念：1.1.2、理解1.2、使用序列化的原因1.3、Hadoop没使用java序列化的原因2、常用的Hadoop序列化类型2.1、实现数据排序3、自定义序列化3.1、实现自定义序列化注意点3.2、整体注意4、自定义序列化类型案例4.1、输入数据4.2、输出数据4.3、代码4.3.1、...
2020-02-29 02:43:40
918
原创 MapReduce初识总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录MapReduce初识1、MapReduce简介1.1、定义1.2、起源1.3、适用场景2、MapReduce的设计思想3、MapReduce的优缺点3.1、MR优点3.2、MR缺点4、MapReduce程序运行的实例进程5、MapReduce编程核心思想6、MapReduce完整执行流程7、MapReduce程序7.1、MapReduce程序组...
2020-02-24 21:05:12
381
原创 HDFS面试题总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录HDFS面试题一、选择题1、下列哪项通常是集群的最主要瓶颈（C）2、下列哪项可以作为集群的管理？（B）3、下列哪个是Hadoop运行的模式？（ABC）4、HDFS 中的 block 默认保存几份？（A）5、HDFS 默认 BlockSize 是（C）6、Client 端上传文件的时候下列哪项正确？（B）7、下面哪个程序负责 HDFS 数据存储？（...
2020-02-21 23:09:47
2358
原创 HDFS客户端操作总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录HDFS客户端操作总结一、基于IDEA编程的准备1、环境变量的配置1.1、配置HADOOP_HOME1.2、配置PATH2、基于IDEA创建maven 的jar工程3、导入hadoop/hdfs相关依赖4、配置项目的日志(log4j的简单配置)二、相关类及常用API了解1、个人学习方法2、Configuration3、FileSystem4、IO...
2020-02-20 23:05:40
1249
原创 HDFS进阶总结
文章目录HDFS进阶总结1.01、HDFS知识点1.1、HDFS概述1.2、HDFS特点1.3、HDFS角色1.4、HDFS结构1.5、FSImage、EditLog1.6、查看数据块信息1.7、HDFS副本机制2、HDFS读写流程2.1、HDFS读文件的流程2.2、HDFS写文件的流程3、HDFS文件格式4、NameNode故障处理5、HDFS-HA工作机制及配置6、Yarn-HA工作机制及配置...
2020-02-17 18:28:28
419
原创 Hadoop完全分布式集群总结
Hadoop完全分布式集群搭建一、新建虚拟机没啥说的，注意分区即可，我这里是演示，配置不高。/boot:300M足够/swap:一般为内存的两倍，2048M/home:2000M足够/：剩余空间二、规划集群与服务1、逻辑结构2、物理结构3、总结构192.168.153.134：Hadoop01(主节点)：包括NameNode、DataNode、ResourceM...
2020-02-17 17:34:19
2733
原创 HDFS常用Shell命令总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录HDFS常用Shell命令一、普通shell处理命令1、文件夹目录操作1.1、查看目录1.2、创建目录1.3、删除目录2、文件操作2.1、查看文件信息2.2、修改文件的权限、所有者2.3、统计文件信息2.4、修改文件的副本数2.5、删除文件3、本地与集群的操作3.1、将Linux本地的文件上传到集群（本地文件存在）3.2、将Linux本地的文件剪...
2020-02-13 23:41:51
2531
原创 Hadoop单机伪分布式总结
文章目录Hadoop单机伪分布式(精简版)一、Hadoop文件目录说明二、精简完整配置过程！1.修改ip:2.修改network:3.修改resolv.conf:4.重启网卡：5.关闭防火墙：6.创建目录：7.创建用户组和用户8.修改权限：9.进入用户，并修改目录权限10.修改hosts11.安装jdk12.配置环境变量并检查13.SSH免密登录14.下载解压hadoop15.修改环境变量16.修...
2020-02-11 22:27:12
908
原创 大数据概况及Hadoop生态系统总结
觉得有帮助的，请多多支持博主，点赞关注哦~文章目录大数据概况及Hadoop生态系统1、大数据概念理解1.1、什么是大数据？1.2、大数据特征(4V)？1.3、大数据应用场景？1.4、大数据部门业务流程分析？1.5、大数据部门组织结构？1.6、数据仓库与数据库的区别？2、职业简介2.1、大数据工程师2.1.1、简介2.1.2、职责2.1.3、所需技能2.1.4、工作方向2.2、大数据分析师2.2....
2020-02-08 20:37:22
3505
原创 Shell总结
Shell 编程入门走进 Shell 编程的大门为什么要学Shell？学一个东西，我们大部分情况都是往实用性方向着想。从工作角度来讲，学习 Shell 是为了提高我们自己工作效率，提高产出，让我们在更少的时间完成更多的事情。很多人会说 Shell 编程属于运维方面的知识了，应该是运维人员来做，我们做后端开发的没必要学。我觉得这种说法大错特错，相比于专门做Linux运维的人员来说，我们对 S...
2020-02-06 01:41:45
1039
原创 Linux总结
一 、从认识操作系统开始1.1 操作系统简介1.2 操作系统简单分类二 、初探Linux2.1 Linux简介2.2 Linux诞生简介2.3 Linux的分类三 、Linux文件系统概览3.1 Linux文件系统简介3.2 文件类型与目录结构四 、Linux基本命令4.1 目录切换命令4.2 目录的操作命令（增删改查）4.3 文件的操作命令（增删...
2020-01-14 20:36:45
9952
原创 项目构建工具--Maven总结
请多多支持博主，点赞关注共同进步哦~文章目录一、Maven1、Maven是什么？2、为什么要使用Maven?2.1、因为方便。。2.2、传统项目开发常见问题3、Maven的作用4、Maven与IDE的关系5、Maven相关概念6、Maven项目的pom文件结构7、Maven命令8、使用IDEA创建一个Maven项目并测试mvn命令9、原生CMD的mvn命令9.1、创建Maven java项目9....
2020-01-13 18:27:07
516
原创 进阶SQL总结
文章目录零、引入1、mysql8.0的使用2、==zeppelin==的配置以及使用3、创建表的sql文件，我没有上传，需要的可以私聊一、if、case的使用1、sql的if语法：2、sql的case...end语法：二、客户信息分析练习三、交易分析练习四、门店分析练习五、窗口函数(mysql8.0新特性)1、窗口函数定义2、窗口函数分析3、窗口函数练习零、引入1、mysql8.0的使用注意...
2020-01-13 15:30:03
951
2
原创 Linux常用命令总结
觉得有帮助的，支持博主，点赞关注哦~文章目录Linux文件系统结构一、目录操作mkdir: 创建目录rmdir：删除一个空文件夹cp：复制文件或者文件夹mv：移动文件或者文件夹，可以在移动的时候重命名rm ：删除文件或者文件夹二、文件处理命令ls :查看文件touch 文件名：创建文件 可以一次创建多个文件，以空格隔开cat :查看文件内容tac:反向显示文件内容more：分页查看文件内容les...
2020-01-13 00:03:56
1181
1
原创 SSM框架整合+案例
SSM框架的整合步骤以及案例演示，我已经总结完了。希望大家，除了一些特别固定的配置文件外，有一个简单的需求，都可以做到手动配置实现。这样对大家对SSM框架会有进一步的了解，多配置几遍会更加熟悉这个流程。就这个简单的整合，我已经在Eclipse上和Idea上都配过不止一遍，每一次都会有不同的问题，都会有不同的发现，只有多练习才能知道哪里有缺陷，劝大家不要眼高手低。。觉得对你有帮助的，希望多多支...
2020-01-05 00:59:49
1161
原创 SpringMVC总结
文章目录一、SpringMVC：回顾MVC1、回顾MVC1.1、什么是MVC1.2、Model1时代1.3、Model2时代1.4、回顾练习Servlet二、SpringMVC：什么是SpringMVC2、SpringMVC2.1、概述2.2、中心控制器2.3、SpringMVC执行原理三、SpringMVC：Hello,SpringMVC3、HelloSpringMVC3.1、配置版实现3.2、...
2020-01-04 17:29:28
439
原创 Spring总结
文章目录一、Spring概述和IOC理论1、Spring1.1、简介1.2、优点1.3、组成1.4、拓展2、IOC理论推导2.1、分析实现2.2、IOC本质二、Spring：第一个程序、对象创建方式、配置说明3、第一个程序Hello3.1、导入Jar包3.2、编写代码3.3、思考4、IOC创建对象方式4.1、通过无参构造方法来创建4.2、通过有参构造方法来创建5、Spring配置5.1、别名5.2...
2020-01-01 19:57:00
2772
原创 MyBatis总结
1.简介1.1、什么是Mybatis？MyBatis 是一款优秀的持久层框架。它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生类型、接口和 Java 的 POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记...
2019-12-31 18:05:26
4098
原创 Day44：前端之JQuery常用知识点总结
jQuery常用知识点大总结文章目录jQuery常用知识点大总结jQueryjQuery介绍jQuery的优势jQuery的引入方式有两种：jQuery对象和dom对象jQuery选择器基本选择器（同css）基本筛选器（选择之后进行过滤）：属性选择器：表单筛选器表单对象属性:筛选器方法(用的很多)标签操作文本操作值操作属性操作文档处理each循环data插件(了解)jQueryjQuery介...
2019-12-12 02:57:50
567
原创 Day43：前端之JavaScript(js)常用知识点总结
JavaScript知识点总结1.JavaScript:一门客户端脚本语言2.JavaScript的组成：1、ECMAScript：基本的语法和对象2、BOM:浏览器模型，与浏览器进行交互3、DOM:文档模型，与网页内容进行交互变量定义：var a = 123;var b = ‘abc’;//连写var a = 123,b=456;注意：js为弱类型的解释型脚本语言，使...
2019-12-12 02:29:24
649
原创 Day42：前端之CSS常用知识点总结
一、CSS的简介：1、CSS的定义：层叠样式表。属性和属性值用冒号分隔开，以分号结尾(这些符号都是英文的)。2、CSS得引入方式：行内引入：<div style="这里写样式">我是一个块级的标签</div>嵌入式：将CSS样式表放到head中用<head> ... <style type="text/css"> ...
2019-12-12 01:52:31
1015
原创 Day41：前端之HTML常用知识点总结
HTML知识点总结一.基本知识HTML 指的是超文本标记语言: HyperText Markup LanguageHTML 标记标签通常被称为 HTML 标签 (HTML tag) <标签>内容</标签>HTML 元素包含了开始标签与结束标签，元素的内容是开始标签与结束标签之间的内容，元素属性是 HTML 元素提供的附加信息。基本HTML 网页结构如下，bo...
2019-12-12 01:12:33
267
原创 JDBC大总结
idea操作，eclipse同理JDBC：1. 概念：Java DataBase Connectivity Java 数据库连接， Java语言操作数据库 * JDBC本质：其实是官方（sun公司）定义的一套操作所有关系型数据库的规则，即接口。各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使用这套接口（JDBC）编程，真正执行的代码是驱动jar包中的实现类。2. 快速入...
2019-11-26 23:43:06
158
原创 Filter过滤器和Listener监听器
Filter：过滤器1. 概念： * 生活中的过滤器：净水器,空气净化器，土匪、 * web中的过滤器：当访问服务器的资源时，过滤器可以将请求拦截下来，完成一些特殊的功能。 * 过滤器的作用： * 一般用于完成通用的操作。如：登录验证、统一编码处理、敏感字符过滤...2. 快速入门： 1. 步骤： 1. 定义一个类，实现接口Filter 2. 复写方法 3. 配置拦截...
2019-11-26 23:29:20
148
原创 AJAX和JSON了解学习
AJAX：1. 概念： ASynchronous JavaScript And XML 异步的JavaScript 和 XML 1. 异步和同步：客户端和服务器端相互通信的基础上 * 客户端必须等待服务器端的响应。在等待的期间客户端不能做其他操作。 * 客户端不需要等待服务器端的响应。在服务器处理请求的过程中，客户端可以进行其他的操作。 Ajax 是一种在无需重新加载整个网页的情...
2019-11-26 23:19:40
142
原创 JQuery重点知识点专场
JQuery 基础：1. 概念： 一个JavaScript框架。简化JS开发 * jQuery是一个快速、简洁的JavaScript框架，是继Prototype之后又一个优秀的JavaScript代码库（或JavaScript框架）。jQuery设计的宗旨 是“write Less，Do More”，即倡导写更少的代码，做更多的事情。它封装JavaScript常用的功能代码，提供一种简便的Ja...
2019-11-26 00:11:26
115
原创 JSP、三层架构MVC模式以及EL和JSTL表达式总结学习知识点
JSP:1. 指令 * 作用：用于配置JSP页面，导入资源文件 * 格式： <%@ 指令名称 属性名1=属性值1 属性名2=属性值2 ... %> * 分类： 1. page ： 配置JSP页面的 * contentType：等同于response.setContentType() 1. 设置响应体的mime类型以及字符集 2. 设置当前jsp页...
2019-11-26 00:08:33
287
原创 会话技术之Cookie和Session以及JSP初识
会话技术1. 会话：一次会话中包含多次请求和响应。 * 一次会话：浏览器第一次给服务器资源发送请求，会话建立，直到有一方断开为止2. 功能：在一次会话的范围内的多次请求间，共享数据3. 方式： 1. 客户端会话技术：Cookie 2. 服务器端会话技术：SessionCookie：1. 概念：客户端会话技术，将数据保存到客户端2. 快速入门： * 使用步骤： 1. 创建...
2019-11-26 00:05:19
225
原创 接着HTTP协议以及Response和ServletContext对象的概念学习
HTTP协议：1. 请求消息：客户端发送给服务器端的数据 * 数据格式： 1. 请求行 2. 请求头 3. 请求空行 4. 请求体2. 响应消息：服务器端发送给客户端的数据 * 数据格式： 1. 响应行 1. 组成：协议/版本 响应状态码 状态码描述 2. 响应状态码：服务器告诉客户端浏览器本次请求和响应的一个状态。 1. 状态码都是3位数字 ...
2019-11-26 00:01:01
182
原创 Servlet、HTTP协议、Request总结
Servlet：1. 概念2. 步骤3. 执行原理4. 生命周期5. Servlet3.0 注解配置6. Servlet的体系结构 Servlet -- 接口 | GenericServlet -- 抽象类 | HttpServlet -- 抽象类 * GenericServlet：将Servlet接口中其他的方法做了默认空实现，只将service()方法作为抽象...
2019-11-25 23:50:46
133
原创 Web、Tomcat、Servlet了解认识总结
web相关概念回顾1. 软件架构 1. C/S：客户端/服务器端 2. B/S：浏览器/服务器端2. 资源分类 1. 静态资源：所有用户访问后，得到的结果都是一样的，称为静态资源.静态资源可以直接被浏览器解析 * 如： html,css,JavaScript 2. 动态资源:每个用户访问相同资源后，得到的结果可能不一样。称为动态资源。动态资源被访问后，需要先转换为静态资源，在返回...
2019-11-25 23:37:26
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人