自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Biubiubiu!

瞧一瞧,看一看了啊

  • 博客(126)
  • 收藏
  • 关注

原创 Hive大总结!!!
原力计划

文章目录Hive一、Hive简介及核心概念1、Hive概述2、Hive特点2.1、优点2.2、缺点2.3、Hive使用场景3、Hive基本架构原理4、数据处理流程5、Hive 和数据库比较5.1、查询语言5.2、数据存储位置5.3、数据更新5.4、索引5.5、执行5.6、执行延迟5.7、可扩展性5.8、数据规模二、Hive安装及配置1、Hive 安装地址2、Hive 安装部署3、元数据配置3.1、...

2020-03-29 22:44:47 1056

原创 Hadoop-HA高可用分布式集群总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录Hadoop-HA高可用分布式集群一、HA概述二、HDFS-HA 工作机制1、HDFS-HA 工作要点2、HDFS-HA 自动故障转移工作机制三、总体配置及准备规划1、集群规划2、准备工作3、修改配置文件四、HDFS-HA 集群配置1、配置HDFS-HA集群2、配置 HDFS-HA 自动故障转移五、YARN-HA 配置1、YARN-HA 工作机制...

2020-03-14 14:47:48 374

原创 Zookeeper总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录Zookeeper一、Zookeeper概述1、概述2、特点3、数据结构4、应用场景5、下载地址二、Zookeeper 安装1、本地模式安装部署1.1、前置准备1.2、安装配置1.3、启动Zookeeper2、zoo.cfg 文件中配置参数解读三、Zookeeper 内部原理1、选举机制2、节点类型3、stat 结构体4、监听器原理4.1、监听原...

2020-03-11 22:12:05 165

原创 Hadoop企业级优化总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录Hadoop企业级优化一、MapReduce 跑的慢的原因二、MapReduce 优化方法1、数据输入2、Map 阶段3、Reduce 阶段4、IO 传输5、数据倾斜问题5.1、什么是数据倾斜?5.2、数据倾斜原因5.3、解决办法6、常用的调优参数6.1、资源相关参数6.1.1、以下参数是在用户自己的 mr 应用程序中配置就可以生效(mapred...

2020-03-11 21:48:51 121

原创 YARN总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录Yarn一、Yarn 概述二、Yarn 基本架构三、Yarn 工作机制四、作业提交全过程五、资源调度器1、先进先出调度器(FIFO)2、容量调度器(Capacity Scheduler)3、公平调度器(Fair Scheduler)六、任务的推测执行1、作业完成时间取决于最慢的任务完成时间2、推测执行机制:3、执行推测任务的前提条件4、不能启用推...

2020-03-11 21:19:29 94

原创 Hadoop数据压缩总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录Hadoop数据压缩一、概述二、MR 支持的压缩编码1、压缩格式2、编码/解码器3、压缩性能的比较三、压缩方式选择1、Gzip 压缩2、Bzip2 压缩3、Lzo 压缩4、Snappy 压缩四、压缩位置选择五、压缩位置选择六、压缩实操案例1、数据流的压缩和解压缩2、Map 输出端采用压缩3、Reduce 输出端采用压缩Hadoop数据压缩一、...

2020-03-11 20:42:21 175

原创 MapReduce练习题

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录MapReduce练习题一、单选题二、描述题三、MR排序练习案例1、统计手机用户信息1、统计每年、每月各个网站的总的上行流量和下行流量2、统计每年、每月各个网站的总的上行流量排名前两名的网站3、统计每年、每月各个网站的总流量排后两名的网站4、统计136,138手机用户,在2018年访问各个网站总流量排名前1的用户2、统计营业额信息1、计算出每个加...

2020-03-07 22:49:49 6139 3

原创 MapReduce框架详解

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录MapReduce框架详解1、Job提交源码分析2、输入端InputFormat2.1、FilelnputFormat切片原则(默认)2.1.1、切片的原则2.1.2、修改切片大小2.1.3、获取切片信息 API2.1.4、代码测试2.2、CombineTextinputFomat切片原则2.2.1、关于大量小文件的优化策略2.2.1.1、缺点2...

2020-02-29 04:03:55 296

原创 MapReduce工作流程(Job与Shuffle)总结

MapReduce 工作流程1、MapReduce作业执行流程1.1、提交作业客户端向ResourceManager提交作业。首先,用户需要将所有应该配置的参数根据需求配置好。作业提交之后,就会进入自动化执行。在这个过程中,用户只能监控程序的执行情况和强制中断作业,但是不能对作业的执行过程进行任何干预。提交作业的基本过程如下:(1)、客户端通过**Runjob()**方法启动作业提交。...

2020-02-29 03:19:05 438

原创 Hadoop序列化总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录Hadoop序列化1、序列化理解1.1、序列化定义1.1.1、概念:1.1.2、理解1.2、使用序列化的原因1.3、Hadoop没使用java序列化的原因2、常用的Hadoop序列化类型2.1、实现数据排序3、自定义序列化3.1、实现自定义序列化注意点3.2、整体注意4、自定义序列化类型案例4.1、输入数据4.2、输出数据4.3、代码4.3.1、...

2020-02-29 02:43:40 294

原创 MapReduce初识总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录MapReduce初识1、MapReduce简介1.1、定义1.2、起源1.3、适用场景2、MapReduce的设计思想3、MapReduce的优缺点3.1、MR优点3.2、MR缺点4、MapReduce程序运行的实例进程5、MapReduce编程核心思想6、MapReduce完整执行流程7、MapReduce程序7.1、MapReduce程序组...

2020-02-24 21:05:12 220

原创 HDFS面试题总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录HDFS面试题一、选择题1、下列哪项通常是集群的最主要瓶颈(C)2、下列哪项可以作为集群的管理?(B)3、下列哪个是Hadoop运行的模式?(ABC)4、HDFS 中的 block 默认保存几份?(A)5、HDFS 默认 BlockSize 是(C)6、Client 端上传文件的时候下列哪项正确?(B)7、下面哪个程序负责 HDFS 数据存储?(...

2020-02-21 23:09:47 806

原创 HDFS客户端操作总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录HDFS客户端操作总结一、基于IDEA编程的准备1、环境变量的配置1.1、配置HADOOP_HOME1.2、配置PATH2、基于IDEA创建maven 的jar工程3、导入hadoop/hdfs相关依赖4、配置项目的日志(log4j的简单配置)二、相关类及常用API了解1、个人学习方法2、Configuration3、FileSystem4、IO...

2020-02-20 23:05:40 183

原创 HDFS进阶总结

文章目录HDFS进阶总结1.01、HDFS知识点1.1、HDFS概述1.2、HDFS特点1.3、HDFS角色1.4、HDFS结构1.5、FSImage、EditLog1.6、查看数据块信息1.7、HDFS副本机制2、HDFS读写流程2.1、HDFS读文件的流程2.2、HDFS写文件的流程3、HDFS文件格式4、NameNode故障处理5、HDFS-HA工作机制及配置6、Yarn-HA工作机制及配置...

2020-02-17 18:28:28 235

原创 Hadoop完全分布式集群总结

Hadoop完全分布式集群搭建一、新建虚拟机没啥说的,注意分区即可,我这里是演示,配置不高。/boot:300M足够/swap:一般为内存的两倍,2048M/home:2000M足够/:剩余空间二、规划集群与服务1、逻辑结构2、物理结构3、总结构192.168.153.134:Hadoop01(主节点):包括NameNode、DataNode、ResourceM...

2020-02-17 17:34:19 1000

原创 HDFS常用Shell命令总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录HDFS常用Shell命令一、普通shell处理命令1、文件夹目录操作1.1、查看目录1.2、创建目录1.3、删除目录2、文件操作2.1、查看文件信息2.2、修改文件的权限、所有者2.3、统计文件信息2.4、修改文件的副本数2.5、删除文件3、本地与集群的操作3.1、将Linux本地的文件上传到集群(本地文件存在)3.2、将Linux本地的文件剪...

2020-02-13 23:41:51 888

原创 Hadoop单机伪分布式总结

文章目录Hadoop单机伪分布式(精简版)一、Hadoop文件目录说明二、精简完整配置过程!1.修改ip:2.修改network:3.修改resolv.conf:4.重启网卡:5.关闭防火墙:6.创建目录:7.创建用户组和用户8.修改权限:9.进入用户,并修改目录权限10.修改hosts11.安装jdk12.配置环境变量并检查13.SSH免密登录14.下载解压hadoop15.修改环境变量16.修...

2020-02-11 22:27:12 213

原创 大数据概况及Hadoop生态系统总结

觉得有帮助的,请多多支持博主,点赞关注哦~文章目录大数据概况及Hadoop生态系统1、大数据概念理解1.1、什么是大数据?1.2、大数据特征(4V)?1.3、大数据应用场景?1.4、大数据部门业务流程分析?1.5、大数据部门组织结构?1.6、数据仓库与数据库的区别?2、职业简介2.1、大数据工程师2.1.1、简介2.1.2、职责2.1.3、所需技能2.1.4、工作方向2.2、大数据分析师2.2....

2020-02-08 20:37:22 1290

原创 Shell总结

Shell 编程入门走进 Shell 编程的大门为什么要学Shell?学一个东西,我们大部分情况都是往实用性方向着想。从工作角度来讲,学习 Shell 是为了提高我们自己工作效率,提高产出,让我们在更少的时间完成更多的事情。很多人会说 Shell 编程属于运维方面的知识了,应该是运维人员来做,我们做后端开发的没必要学。我觉得这种说法大错特错,相比于专门做Linux运维的人员来说,我们对 S...

2020-02-06 01:41:45 244

原创 Linux总结

一 、从认识操作系统开始1.1 操作系统简介1.2 操作系统简单分类二 、初探Linux2.1 Linux简介2.2 Linux诞生简介2.3 Linux的分类三 、Linux文件系统概览3.1 Linux文件系统简介3.2 文件类型与目录结构四 、Linux基本命令4.1 目录切换命令4.2 目录的操作命令(增删改查)4.3 文件的操作命令(增删...

2020-01-14 20:36:45 6822

原创 项目构建工具--Maven总结

请多多支持博主,点赞关注共同进步哦~文章目录一、Maven1、Maven是什么?2、为什么要使用Maven?2.1、因为方便。。2.2、传统项目开发常见问题3、Maven的作用4、Maven与IDE的关系5、Maven相关概念6、Maven项目的pom文件结构7、Maven命令8、使用IDEA创建一个Maven项目并测试mvn命令9、原生CMD的mvn命令9.1、创建Maven java项目9....

2020-01-13 18:27:07 178

原创 进阶SQL总结

文章目录零、引入1、mysql8.0的使用2、==zeppelin==的配置以及使用3、创建表的sql文件,我没有上传,需要的可以私聊一、if、case的使用1、sql的if语法:2、sql的case...end语法:二、客户信息分析练习三、交易分析练习四、门店分析练习五、窗口函数(mysql8.0新特性)1、窗口函数定义2、窗口函数分析3、窗口函数练习零、引入1、mysql8.0的使用注意...

2020-01-13 15:30:03 428 2

原创 Linux常用命令总结

觉得有帮助的,支持博主,点赞关注哦~文章目录Linux文件系统结构一、目录操作mkdir: 创建目录rmdir:删除一个空文件夹cp:复制文件或者文件夹mv:移动文件或者文件夹,可以在移动的时候重命名rm :删除文件或者文件夹二、文件处理命令ls :查看文件touch 文件名:创建文件 可以一次创建多个文件,以空格隔开cat :查看文件内容tac:反向显示文件内容more:分页查看文件内容les...

2020-01-13 00:03:56 371

原创 SSM框架整合+案例

SSM框架的整合步骤以及案例演示,我已经总结完了。希望大家,除了一些特别固定的配置文件外,有一个简单的需求,都可以做到手动配置实现。这样对大家对SSM框架会有进一步的了解,多配置几遍会更加熟悉这个流程。就这个简单的整合,我已经在Eclipse上和Idea上都配过不止一遍,每一次都会有不同的问题,都会有不同的发现,只有多练习才能知道哪里有缺陷,劝大家不要眼高手低。。觉得对你有帮助的,希望多多支...

2020-01-05 00:59:49 584

原创 SpringMVC总结

文章目录一、SpringMVC:回顾MVC1、回顾MVC1.1、什么是MVC1.2、Model1时代1.3、Model2时代1.4、回顾练习Servlet二、SpringMVC:什么是SpringMVC2、SpringMVC2.1、概述2.2、中心控制器2.3、SpringMVC执行原理三、SpringMVC:Hello,SpringMVC3、HelloSpringMVC3.1、配置版实现3.2、...

2020-01-04 17:29:28 160

原创 Spring总结

文章目录一、Spring概述和IOC理论1、Spring1.1、简介1.2、优点1.3、组成1.4、拓展2、IOC理论推导2.1、分析实现2.2、IOC本质二、Spring:第一个程序、对象创建方式、配置说明3、第一个程序Hello3.1、导入Jar包3.2、编写代码3.3、思考4、IOC创建对象方式4.1、通过无参构造方法来创建4.2、通过有参构造方法来创建5、Spring配置5.1、别名5.2...

2020-01-01 19:57:00 204

原创 MyBatis总结

1.简介1.1、什么是Mybatis?MyBatis 是一款优秀的持久层框架。它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生类型、接口和 Java 的 POJO(Plain Old Java Objects,普通老式 Java 对象)为数据库中的记...

2019-12-31 18:05:26 1742

原创 Day44:前端之JQuery常用知识点总结

jQuery常用知识点大总结文章目录jQuery常用知识点大总结jQueryjQuery介绍jQuery的优势jQuery的引入方式有两种:jQuery对象和dom对象jQuery选择器基本选择器(同css)基本筛选器(选择之后进行过滤):属性选择器:表单筛选器表单对象属性:筛选器方法(用的很多)标签操作文本操作值操作属性操作文档处理each循环data插件(了解)jQueryjQuery介...

2019-12-12 02:57:50 160

原创 Day43:前端之JavaScript(js)常用知识点总结

JavaScript知识点总结1.JavaScript:一门客户端脚本语言2.JavaScript的组成:1、ECMAScript:基本的语法和对象2、BOM:浏览器模型,与浏览器进行交互3、DOM:文档模型,与网页内容进行交互变量定义:var a = 123;var b = ‘abc’;//连写var a = 123,b=456;注意:js为弱类型的解释型脚本语言,使...

2019-12-12 02:29:24 140

原创 Day42:前端之CSS常用知识点总结

一、CSS的简介:1、CSS的定义:层叠样式表。属性和属性值用冒号分隔开,以分号结尾(这些符号都是英文的)。2、CSS得引入方式:行内引入:<div style="这里写样式">我是一个块级的标签</div>嵌入式:将CSS样式表放到head中用<head> ... <style type="text/css"> ...

2019-12-12 01:52:31 157

原创 Day41:前端之HTML常用知识点总结

HTML知识点总结一.基本知识HTML 指的是超文本标记语言: HyperText Markup LanguageHTML 标记标签通常被称为 HTML 标签 (HTML tag) <标签>内容</标签>HTML 元素包含了开始标签与结束标签,元素的内容是开始标签与结束标签之间的内容,元素属性是 HTML 元素提供的附加信息。基本HTML 网页结构如下,bo...

2019-12-12 01:12:33 165

原创 JDBC大总结

idea操作,eclipse同理JDBC:1. 概念:Java DataBase Connectivity Java 数据库连接, Java语言操作数据库 * JDBC本质:其实是官方(sun公司)定义的一套操作所有关系型数据库的规则,即接口。各个数据库厂商去实现这套接口,提供数据库驱动jar包。我们可以使用这套接口(JDBC)编程,真正执行的代码是驱动jar包中的实现类。2. 快速入...

2019-11-26 23:43:06 87

原创 Filter过滤器和Listener监听器

Filter:过滤器1. 概念: * 生活中的过滤器:净水器,空气净化器,土匪、 * web中的过滤器:当访问服务器的资源时,过滤器可以将请求拦截下来,完成一些特殊的功能。 * 过滤器的作用: * 一般用于完成通用的操作。如:登录验证、统一编码处理、敏感字符过滤...2. 快速入门: 1. 步骤: 1. 定义一个类,实现接口Filter 2. 复写方法 3. 配置拦截...

2019-11-26 23:29:20 83

原创 AJAX和JSON了解学习

AJAX:1. 概念: ASynchronous JavaScript And XML 异步的JavaScript 和 XML 1. 异步和同步:客户端和服务器端相互通信的基础上 * 客户端必须等待服务器端的响应。在等待的期间客户端不能做其他操作。 * 客户端不需要等待服务器端的响应。在服务器处理请求的过程中,客户端可以进行其他的操作。 Ajax 是一种在无需重新加载整个网页的情...

2019-11-26 23:19:40 78

原创 JQuery重点知识点专场

JQuery 基础:1. 概念: 一个JavaScript框架。简化JS开发 * jQuery是一个快速、简洁的JavaScript框架,是继Prototype之后又一个优秀的JavaScript代码库(或JavaScript框架)。jQuery设计的宗旨 是“write Less,Do More”,即倡导写更少的代码,做更多的事情。它封装JavaScript常用的功能代码,提供一种简便的Ja...

2019-11-26 00:11:26 55

原创 JSP、三层架构MVC模式以及EL和JSTL表达式总结学习知识点

JSP:1. 指令 * 作用:用于配置JSP页面,导入资源文件 * 格式: <%@ 指令名称 属性名1=属性值1 属性名2=属性值2 ... %> * 分类: 1. page : 配置JSP页面的 * contentType:等同于response.setContentType() 1. 设置响应体的mime类型以及字符集 2. 设置当前jsp页...

2019-11-26 00:08:33 85

原创 会话技术之Cookie和Session以及JSP初识

会话技术1. 会话:一次会话中包含多次请求和响应。 * 一次会话:浏览器第一次给服务器资源发送请求,会话建立,直到有一方断开为止2. 功能:在一次会话的范围内的多次请求间,共享数据3. 方式: 1. 客户端会话技术:Cookie 2. 服务器端会话技术:SessionCookie:1. 概念:客户端会话技术,将数据保存到客户端2. 快速入门: * 使用步骤: 1. 创建...

2019-11-26 00:05:19 144

原创 接着HTTP协议以及Response和ServletContext对象的概念学习

HTTP协议:1. 请求消息:客户端发送给服务器端的数据 * 数据格式: 1. 请求行 2. 请求头 3. 请求空行 4. 请求体2. 响应消息:服务器端发送给客户端的数据 * 数据格式: 1. 响应行 1. 组成:协议/版本 响应状态码 状态码描述 2. 响应状态码:服务器告诉客户端浏览器本次请求和响应的一个状态。 1. 状态码都是3位数字 ...

2019-11-26 00:01:01 52

原创 Servlet、HTTP协议、Request总结

Servlet:1. 概念2. 步骤3. 执行原理4. 生命周期5. Servlet3.0 注解配置6. Servlet的体系结构 Servlet -- 接口 | GenericServlet -- 抽象类 | HttpServlet -- 抽象类 * GenericServlet:将Servlet接口中其他的方法做了默认空实现,只将service()方法作为抽象...

2019-11-25 23:50:46 68

原创 Web、Tomcat、Servlet了解认识总结

web相关概念回顾1. 软件架构 1. C/S:客户端/服务器端 2. B/S:浏览器/服务器端2. 资源分类 1. 静态资源:所有用户访问后,得到的结果都是一样的,称为静态资源.静态资源可以直接被浏览器解析 * 如: html,css,JavaScript 2. 动态资源:每个用户访问相同资源后,得到的结果可能不一样。称为动态资源。动态资源被访问后,需要先转换为静态资源,在返回...

2019-11-25 23:37:26 60

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除