- 博客(55)
- 收藏
- 关注
RSS订阅原创 hbase
hbase之shell操作进入hbaseshell环境在集群入口上执行:hbaseshellhbase常用操作分类系统操作(General)DDL操作DML操作Namespace操作系统操作(general)查看hbase集群状态:status查看hbase的版本信息:version查看当前操作hbase的用户是哪个:whoamiDDL操作创建表(create)create"Student","base_info",'advanced_info'列出所有表...
2022-03-09 21:32:44
2594
1
原创 Hive企业应用
一. 数据仓库架构设计数据仓库用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。1.数据架构架构原则：先水平分层，再垂直分主题域数据架构分三层源数据落地区(SDF:Source Data File)数据仓库层(DW:Data WareHouse)数据集市层(DM:Data Market)数据仓库层进一步细分为三层源数据层(DWB)细节数据层(DWD)汇总数据层(DWS)2.数据仓库分层介绍(水平划分..
2022-02-16 22:12:16
250
原创 Hive参数深入浅出
一. Hive参数介绍特别说明 关于MapJoin的问题剖析 特别说明 关于MapJoin的问题剖析 概念说明 代码实现 在hive当中已经默认开启了该功能。 应用场景 大表join小表的时候， 大数据块join小数据块的时候。 特点特征 减少了reduce的处理，全部放到map端进行操作。 减少了数据移动，提升了IO和计算效率。 将join的本来应该是reduce进行关联查找的过程，改成由纯ma...
2022-02-16 21:57:24
304
原创 【无标题】自定义函数
UDF(user defined function)自定义函数 1：1自定义一个类继承UDF类重写evaluate方法将项目package到hdfs，再导入到hiveAdd jar hdfs:///user/mazhichao/..jar在hive中创建临时函数即可使用Create temporary function name as ‘包名.方法名’public class ValueMaskUDF extends UDF{public Stri...
2022-02-15 21:36:03
811
原创 Hive基础应用
一. Hive基础概念1. hive数据模型2. 数据类型2.1 数值型 类型 说明 TINYINT 1-byte signed integer from -128 to 127 SMALLINT 2-byte signed integer from-32,768 to 32,767 INT INTEGER 4.
2022-02-14 23:47:24
1090
原创 分布式资源管理与任务调度框架Yarn
在Hadoop1.x中MapReduce是Master/Slave结构.1个JobTracker带多个TaskTracker，我们称之为MRv1。JobTracker主要功能资源管理任务调度TaskTracker主要功能执行任务，响应JobTracker命令汇报心跳主要问题JobTracker单点故障，如果它挂掉，整个系统无法运转JobTracker负载过重仅支持MR计算框架，适合批处理、基于磁盘的计算资源与计算没有很好的解耦设计，一个集群只能使用一...
2022-02-11 22:33:21
812
原创 MapReduce进阶与经典案例
一.HDFS数据格式详解 1、文件格式 文件格式按面向的存储形式不同，分为面向行和面向列的两大类文件格式。 面向行/列 类型名称 是否可切分 优点 缺点 适用场景 面向行 文本文件格式(.txt) 是 查看便编辑简单
2022-02-10 21:55:30
281
原创 分布式文件系统HDFS常用命令
1：查看所有命令hdfs dfs2：查看目录下的文件列表hdfs dfs -ls /3：查看某文本文件的内容hdfs dfs -cat /tmp/yy.txt4:创建目录hdfs dfs -mkdir /tmp/new5:查看目录hdfs dfs -ls /tmp | grep new6:删除目录hdfs dfs -rm -r /tmp/new一般如果不是管理员，将会没有权限删除7：从hdfs下载文件hdfs dfs -copyToLocal /tmp/y.
2022-02-09 20:11:38
1235
原创 分布式计算框架Map/reduce
简介:MapReduce是一个基于集群的高性能并行计算平台,MapReduce是一个并行计算与运行的软件框架,MapReduce是一个并行程序设计模型与方法.特点:①分布可靠,对数据集的操作分发给集群中的多个节点实现可靠性,每个节点周期性返回它完成的任务和最新的状态②封装了实现细节，基于框架API编程，面向业务展开分布式编码③提供跨语言编程的能力MapReduce的主要功能:1.1数据划分和计算任务调度1.2数据/代码互相定位1.3系统优化1.4出错检测和恢复MapR
2022-02-09 20:04:37
1356
原创 linux高级命令
三. 高级命令1. grep文本处理工具2. sed3. awk命令4. seq命令5. cut命令6. sort命令7. uniq命令8. wc命令1. grep文本处理工具grep [参数] '匹配关键字' fileName -c:count -e:多个连续命令,即正则表达式方式 -E:extend -i:ingore -n:number -r:recursive -v:反转，即命中...
2022-01-19 21:47:45
666
原创 linux常用操作
一.简介目录结构1.根目录视图主要目录树2.重要目录说明 目录 目录内容说明 /bin 系统有很多放置执行档的目录，但/bin比较特殊。因为/bin放置的是在单人维护模式下还能够被操作的指令。在/bin底下的指令可以被root与一般帐号所使用，主要有：cat,chmod(修改权限), chown, date, mv, mkdir, cp, bash等等常用的指令。 /boot .
2022-01-18 22:35:46
892
原创 git
Git工作机制 Git和代码托管中心 代码托管中心是基于网络服务器的远程代码仓库，一般我们简单称为远程库。➢ 局域网 √ GitLab ➢ 互联网 √ GitHub（外网） √ Gitee 码云（国内网站3.Git常用命令 命令名称 作用 git config --global user.name 用户名 设置用户签名 git config --g...
2022-01-10 20:36:15
89
原创 Springboot02
Spring boot2一、知识点1. thymeleaf常用配置spring: thymeleaf: cache: false #清除缓存，实现热部署 mode: LEGACYHTML5 #回避HTML进行严格的检查的配置，当然你需要提前引入nekohtml依赖。 # 配置了前缀 prefix: classpath:/templates/ # 配置了后缀 suffix: .html web: resources:
2022-01-07 23:49:38
76
原创 SpringBoot
1.@Controller +@ResponseBody =RestController2.运行springboot项目修改端口号 server.port=8082
2022-01-07 20:15:18
695
原创 maven
一.maven的下载_目录结构_IDEA整合Idea默认集成maven 下载地址：https://maven.apache.org Idea集成maven在settings.xml中配置①本地仓库的位置<localRepository>D:\maven_lib\respository</localRepository>②远程仓库的配置+` <mirror> <id>aliyunmaven</id> <mi..
2022-01-06 22:01:06
214
原创 SpringMVC(注解方式)
一.配置文件<?xml version="1.0"encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xmlns:context="http://www.springframework.org/schema/context" xmlns:mv
2021-12-24 19:12:42
182
原创 SpringMVC(XML方式)
<bean id="" class=""> <property name="" ref value /> </bean><constructor-arg >一.Spring优势:① IOC,Spring是一个容器,通过容器管理实例,降低模块板块之间的耦合度②AOP,面向对象,减少重复代码,弥补OOP中的不足,从横向的角度缴减少重复代码,项目更容易维护③Spring的生态和社区非常丰富④通过声明式事务,可以通过注解定义事务 Trans...
2021-12-23 20:15:05
1806
原创 Spring注解
一.1.IOC注解Spring框架中有注解和XML两种配置方式,包括Spring中的IOC和AOP也一样,都有这两种方式.1.1xml配置优点:1.xml配置方式降低耦合度,使得应用感染更加容易扩展,即使对配置文件进一步修改也不需要工程进行修改和重新编译。2.在处理大的业务量的时候,用xml配置应该更加好一些.因为XML更加清晰的表明了各个对象之间的关系，各个业务类之间的调用。同时spring的相关配置也能一目了然。缺点:配置文件读取和解析需要花费一定的时间，配置文件过多的时
2021-12-21 22:58:45
337
原创 反射
1、对于给定的一个类（Class）对象，可以获得这个类（Class）对象的所有属性和方法；2、对于给定的一个对象（new XXXClassName<? extends Object>），都能够调用它的任意一个属性和方法。这种动态获取类的内容以及动态调用对象的方法和获取属性的机制，就叫做Java反射机制获取类对象对应的属性和方法clazz.getName()全类名clazz.getPackage()clazz.getSuperclass()clazz.getCla
2021-12-06 22:45:10
90
原创 表达式&JSTL标签库
1.EL表达式(Expression Language)a.什么是 EL 表达式，EL 表达式的作用? EL表达式主要是代替jsp页面中的表达式脚本在jsp页面中进行数据的输出(EL表达式在输出数据的时候比jsp的脚本表达式简洁很多)EL表达式的格式是:${表达式}EL表达式在输出null值的时候,输出的是空串.jsp表达式脚本输出null的时候,输出的是null字符串<body> <% request.setAttribute("key","值"); %>
2021-12-01 23:02:07
649
原创 JSP
1.JSP:java server pagesjsp作用:代替Servlet程序回传html页面的数据(1)Servlet回传html页面数据的代码:public class PringHtml extends HttpServlet { @Override protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException { // 通过
2021-11-30 22:49:16
86
原创 JavaWeb-Servlet
1.Web流程: 1.1软件架构 c/s:客户端/服务器端 b/s:浏览器端/服务器端 1.2.资源分类: 静态资源:所有用户访问后,得到的结果都一样;静态资源可以直接被浏览器解析，如： html,css,JavaScript 动态资源:所有用户访问后,得到不一样的结果;动态资源被访问后，需要先转换 为静态资源，在返回给浏览器，如：servlet/jsp,php,asp.... 1...
2021-11-30 20:49:52
349
原创 CSS选择器与标签的分类
1.复合选择器复合选择器是由两个或多个基础选择器，通过不同的方式组合而成的,目的是为了可以选择更准确更精细的目标元素标签。(1)、交集选择器交集选择器由两个选择器构成，其中第一个为标签选择器，第二个为class选择器，两个选择器之间不能有空格，如h3.special。记忆技巧：交集选择器是并且的意思。 即...又...的意思比如：p.one选择的是类名为.one的段落标签。(2)、并集选择器并集选择器（CSS选择器分组）是各个选择器通过<strong style=.
2021-11-16 00:47:06
97
原创 表单类型、多媒体与CSS初始
样式表.(1)、内部样式表内嵌式是将CSS代码集中写在HTML文档的head头部标签中，并且用style标签定义，其基本语法格式如下：<head><style type="text/CSS"> 选择器 {属性1:属性值1; 属性2:属性值2; 属性3:属性值3;}</style></head>总结：1. 语法中，style标签一般位于head标签中title标签之后，也可以把他放在HTML文档的任何地方。2. typ.
2021-11-16 00:25:14
112
原创 html表格 表单 H5
表格标签;(1)创建表格<table> <tr> <td>单元格内的文字</td> ... </tr> ...</table>1.table用于定义一个表格。2.tr 用于定义表格中的一行，必须嵌套在 table标签中，在 table中包含几对 tr，就有几行表格。3.td /td：用于定义表格中的单元格，必须嵌套在<tr></tr>标签中，一对 <t
2021-11-15 23:54:09
158
原创 html基础
<HTML> <head> <title></title> </head> <body> </body></HTML>html标签:作用所有html中标签的一个根节点. 根标签head标签:文档的头部title标签:文档的标题body:文档的主体 (我们的页面内容,基本都是放到body里边的)1. html标签的分类:双标签...
2021-11-15 21:42:42
207
原创 Day_30 MySQL
MySQL四、知识点1. 行转列1.1 什么是行转列正常的查询结果是这样可是我想要的结果是这样...通过SQL语句 实现这样的功能,就叫行转列示例数据准备有 id,名字,课程,成绩create table test_9( id int, name varchar(22), course varchar(22), score decimal(18,2));insert into test_9 (id,name,course,score)values(1..
2021-11-08 20:33:26
92
原创 Day-29 约束,表查询,常用函数
1. SQLSQL，它的全称叫Structured Query Language，结构化的查询语言。之所以出现这个东西，是为了统一/屏蔽不同数据库厂商生产的数据库产品之间的差异。SQL定义了一系列标准和规范,数据库厂商也需要按照这个规范来,当然会有一些细小的差别,相比没有规范来说,要好很多比如 项目后期由于某些原因,需要进行数据库更换,那么操作数据库的语句就都需要更改,而SQL出现,可以避免这个问题2.DDL2.1概述DDL:Data Definition Langua...
2021-11-04 21:07:39
136
原创 Day 28数据库
数据库 安装 参考教程即可1 检测自己是否安装(安装就卸载)2 Navicart安装3 测试数据库概述在操作系统中使用文件进行数据存储,跨平台性能 要差一些,而数据库是可以解决数据跨平台问题的数据库 : 望文知义 就是遵循一定数据格式的数据集合,可以认为是对文件系统的改进 ,解决了操作系统跨平台问题只要是同一个数据库文件,即使在Windows迁移到linux中 也是可以正常处理的数据库分类画红框的是我们重点关注的。O...
2021-11-03 21:33:41
101
原创 Day _27 Lambda表达式、函数式接口,Stream
1.Lambda1.1概述Lambda表达式是一种没有名字的函数,也可称为闭包，是Java 8 发布的最重要新特性。本质上是一段匿名内部类，也可以是一段可以传递的代码。还有叫箭头函数的..1.2为什么使用Lambda表达式Lambda表达式就是一个匿名内部类的简写方式使程序更加简洁清晰,编程效率也得到了提高1.3和匿名内部类对比1.4语法结构可选类型声明：不需要声明参数类型，编译器可以统一识别参数值。 可选的参数...
2021-11-02 21:27:51
114
原创 Day 26 正则表达式
1.正则表达式1.1概念正则表达式定义了字符串的模式。正则表达式可以用来搜索、编辑或处理文本。不仅限于某一种语言,但是在每种语言中有细微的差异java中1.4推出, java.util.regex包下在java中 使用\转义符,把有意义字符转换为无意义字符但是在正则表达式中,\也是转义符,所以如果我们在java中书写正则表达式的转义符的话,要写两个\\1.2语法 \转义符 * .匹配任意字符 *取值范围: * [abc...
2021-11-01 21:25:00
107
原创 Day 25 单例模式、生产者消费者
单例模式 单例:一个类获取多次,只能得到一个对象 *1.构造方法私有化 *2.静态变量存储对象 *3.公共的静态方法,用于获取对象private Singleton_01() { } // volatile : 防止指令重排 private volatile static Singleton_01 s = null;// public synchronized static Singleton_01 getInstance() { public static Singleton_
2021-10-31 22:51:53
80
原创 Day_23 多线程
1.join:合并线程,多个线程合并为一个线程public static void main(String[] args) { Thread t1=new Thread(new Processer_01()); Thread t2=new Thread(new Processer_01()); t1.setName("t1"); t2.setName("t2"); t1.start(); t2.start(); try { //执行到join的时候,因为是t1调用的,所以main之后
2021-10-29 22:30:41
56
原创 Day_23 多线程
一.基本概念：程序、进程、线程程序(program)是为完成特定任务、用某种语言编写的一组指令的集合。即指一 段静态的代码，静态对象。 进程(process)是程序的一次执行过程，或是正在运行的一个程序。是一个动态的过程：有它自身的产生、存在和消亡的过程。——生命周期 如：运行中的QQ，运行中的MP3播放器 程序是静态的，进程是动态的 进程作为资源分配的单位，系统在运行时会为每个进程分配不同的内存区域 线程(thread)，进程可进一步细化为线程，是一个程序内部的一条执行路径。
2021-10-28 22:20:47
73
原创 Day21 IO
1.8缓冲流1.8.1概述1.8.2BufferedInputStream1.8.3BufferedOutputStream1.8.4BufferedReader1.8.5BufferedWriter1.9转换流1.9.1概述 输入流 输出流 InputStreamReader OutputStreamWriter 【特点】转换流是指将字节流向字符流的转换，主要...
2021-10-27 23:59:03
59
原创 Day_21 IO流
1.IO1.1流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。I : input 输入O : output 输出输入 : 就是把数据输入到内存中输出 : 就是把内存中的数据写出到外面1.2分类按处理数据类型的不同，分为字节流和字符流按数据流向的不同，分为输入流和输出流。(入和出是相对于内存来讲的)按功能不同，分为节点流和处理流节点流：直..
2021-10-26 21:31:38
62
原创 Day_20 Map
1.set1.1散列表散列表:可以理解为数组保存元素是个链表散列表中保存的是键值对(K和v)hashCode:hash算法,是把不定长数据改变为定长数据,是一种安全的加密算法,但不保证唯一 同一个对象生成多次hash值,那么值一定是相同的, 不同对象也有可能生成相同的hash值 添加过程:1.先调用添加的K,调用hashCode生成hash值 2.根据hash值计算数组下标 3.判断数组中该下...
2021-10-25 20:30:53
103
原创 Day_19 比较器,set,泛型
TreeSet1.1概述1.2使用方式2.排序2.1Comparable因为添加的时候 会自动调用Comparable中的compareTo方法,需要实现类实现2.2Comparator2.3Collection2.4练习题3.泛型3.1 概述3.2使用在源码中使用E表示了范型3.3自定义泛型...
2021-10-24 19:09:46
66
原创 Day_18集合、List
1.Collection1.1概述1.2继承体系1.3 常用方法1.4使用方式import java.util.ArrayList;import java.util.Collection;/** * Collection是父类,所以里面的方法是子类都有的 * @author 18370 * */public class Collection_01 { public static void main(String[]args){ //创建集...
2021-10-21 21:30:16
70
原创 Day_17异常机制
1.异常机制1.1概述异常是Java中提供的一种识别及响应错误情况的一致性机制。有效地异常处理能使程序更加健壮、易于调试。异常发生的原因有很多，比如：用户输入了非法数据 要打开的文件不存在 网络通信时连接中断 JVM内存溢出 这些异常有的是因为用户错误引起，有的是程序错误引起的，还有其它一些是因为物理错误引起的。 1.2之前常见的异常空指针下标越界栈内存溢出类型转换异常1.31.4Error1. 概念系统内部错误，这类错误由系统进行处理，程序.
2021-10-20 21:57:10
57
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人