- 博客(71)
- 收藏
- 关注
RSS订阅原创 Maven 项目中的 maven-war-plugin 插件
targetPath>：指定资源在 WAR 文件中的目标路径，这里是 WEB-INF/lib/，表示将资源复制到 WAR 文件的 WEB-INF/lib/ 目录下。includes>：指定要包含的文件的通配符模式，这里是 **/*.jar，表示包含 src/main/resources 目录下所有的 .jar 文件。directory>：指定要包含的资源的目录，这里是 src/main/resources，表示将该目录下的资源包含在 WAR 文件中。
2024-07-31 14:15:43
395
原创 发起HTTP请求
发起HTTP请求try { String url = "http://xxx"; RestTemplate restTemplate = new RestTemplate(); HashMap<String, String> params = new HashMap<>(); HttpHeaders httpHeaders = new HttpHeader
2021-10-14 09:53:21
156
原创 SpringBoot定时任务
SpringBoot定时任务一、基于注解//配置类@Configuration//开启定时任务@EnableSchedulingpublic class TimedTaskDemo { //方式一：cron表达式,每10S执行一次 @Scheduled(cron = "0/10 * * * * ?") private void timedTask() { System.err.println("执行任务时间: " + LocalDateTime.now()
2021-08-11 17:09:06
189
原创 计算中文字符数
public Integer countString(String str){ Integer count = 0; String regEx = "[\u4e00-\u9fa5]"; Pattern p = Pattern.compile(regEx); Matcher m = p.matcher(str); while(m.find()) { count ++; }
2021-08-11 10:51:33
453
原创 JAVA开发常用插件
文章目录1.Alibaba Java Coding Guidelines2.Free MyBatis plugin3.Lombok Plugin4.Translation5.RainBow Brackets6. Sequence Diagram7.codehelper.generator8. Material Theme UI9.GsonFormat-Plus10.Maven Helper1.Alibaba Java Coding Guidelines为了让开发者更加方便、快速将规范推动并实行起来，阿里
2021-08-06 16:17:57
711
原创 简单使用Redis处理热点数据
简单使用Redis处理热点数据创建模板类//用于操作redispublic interface JedisClusterTemplate extends BasicCommands, BinaryJedisClusterCommands, MultiKeyBinaryJedisClusterCommands, JedisClusterBinaryScriptingCommands, JedisCommands, MultiKeyJedisClusterCommands, JedisClusterScr
2021-07-30 20:12:01
1505
原创 springbootAOP基础，定义切点方式，获取/修改请求参数
1.AOP介绍1.六种通知方式环绕通知：在目标方法执行前和执行后实施增强，可用于日志记录，事务处理等前置通知：在目标方法执行前实施增强，可用于权限管控等后置返回通知：在目标方法成功执行后实施增强，可用于关闭流，删除临时文件等后置通知：在目标方法执行后实施增强(无论方法是否发生异常都执行)，可用于释放资源异常通知：在目标方法抛出异常时实施增强，可用于处理异常，记录日志等引入通知：在目标类中添加一些方法和属性，用于修改目标类2.AspectJ相关注解@Aspect：用于定义一个切面，注解
2021-07-19 19:08:11
5130
2
原创 PageHelper在SpringBoot中的应用
PageHelper在SpringBoot中的应用1.POM文件<dependency> <groupId>com.github.pagehelper</groupId> <artifactId>pagehelper</artifactId> <version>5.1.2</version></dependency&g
2021-07-09 15:31:14
307
原创 com.alibaba.easyexcel导出EXCEL文件
com.alibaba.easyexcel导出EXCEL文件1.POM.XML<dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.2.8</version> <exclusions>
2021-07-08 10:26:40
923
原创 SpringBoot(一）主程序注解、自动配置类、配置文件、日志框架
1.创建一个Spring Boot工程2.导入Spring Boot 依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://m
2020-12-10 15:02:32
444
原创 Steram流的使用
流分类stream：顺序流，由主线程按顺序执行操作，数据有序。paralleStream：并行流，多线程并行执行，数据无序。匹配/包含：find / match匹配：根据过滤条件 匹配 第一个或任意一个元素包含：判断是否 包含 符合特定条件的元素筛选：filter按照自定义规则校验流中元素，将 符合条件 的元素提取到新的流中。聚合：max / min / countmax/min：可用函数 compareTo、Comparator等 比较常量集合 和 对象集合count：计
2020-11-12 17:35:33
672
原创 Spark streaming + kafka
1、Hadoop和Spark的关系Spark是为了跟Hadoop配合而开发出来的，不是为了取代Hadoop，专门用于大数据量下的迭代式计算。Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后，会将数据的运算结果从内存写入到磁盘中，第二次MapReduce运算时再从磁盘中读取数据，所以其瓶颈在2次运算间的多余I/O消耗。Spark则是将...
2019-08-11 22:07:48
144
原创 Spark基础梳理
1 Spark基础篇1.1 Spark生态和安装部署 在安装过程中，理解其基本操作步骤。 安装部署 Spark安装简介 Spark的源码编译 Spark Standalone安装 Spark Standalone HA安装 Spark应用程序部署工具spark-submit Spa...
2019-08-09 00:11:22
121
原创 ETL日志数据到HBASE表中的优化点
（1）创建表的时候 设置表的数据压缩 //设置数据压缩 family.setCompressionType(Compression.Algorithm.SNAPPY)创建预分区 admin.createTable(desc,Array( Bytes.toBytes("145057118"),Bytes.toBytes("1450571...
2019-08-06 23:30:46
175
转载 Scala集合介绍
Scala CollectionScala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为不可变（immutable）的集合和可变（mutable）的集合。数组Array对于数组的使用，若想调用数组提供的方法，我们需要使用import Array._ 引入包List链表Set注：还有很多方法没有列出，基本和List的方法一致Map映射Map(映射...
2019-08-03 17:12:14
119
原创 HBase基础
HBase是什么？HBase是一个开源的非关系型分布式数据库。为啥使用HBase？HBase有超强的扩展型好吞吐量采用Key/Value存储方式，数据量增大，查询速度几乎不变列式存储，甚至可以将几个字段分别存储到不同服务器上总之，HBase比起其他数据库并不快，只是在数据量很大时，慢的不明显。什么时候选择HBase？单表数据量超千万，且并发还挺高。不需要灵活和实时的数据，用...
2019-07-29 23:30:26
171
原创 scala基本语法
文档https://www.scala-lang.org/api/2.11.8 变量变量的定义val 定义变量时值无法更改，var可以 自动推荐类型定义一个可变变量，使用 _ 下划线表示 变量lazy声明只在调用的时候才会去计算 最后...
2019-07-27 09:05:25
153
原创 zookeeper安装及启动进程
1.安装zookeeper配置conf/zoo_sample.cfgThe number of milliseconds of each tick服务器与客户端之间交互的基本时间单元（ms）tickTime=2000The number of ticks that the initialsynchronization phase can takezookeeper所能接受的客户端数量...
2019-07-23 22:38:41
1742
转载 Redis的五种基本类型
redis基本数据类型redis一共分为5中基本数据类型：String,Hash,List,Set,ZSet第一种StringString类型是包含很多种类型的特殊类型，并且是二进制安全的。比如序列化的对象进行储存，比如一张图片进行二进制储存，比如一个简单的字符串数值等等。set和get方法：设置值set &...
2019-07-23 16:02:21
1465
原创 Redis为什么是单线程
一、前言近乎所有与Java相关的面试都会问到缓存的问题，基础一点的会问到什么是“二八定律”、什么是“热数据和冷数据” ，复杂一点的会问到缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题，这些看似不常见的概念，都与我们的缓存服务器相关，一般常用的缓存服务器有Redis、Memcached等，而笔者目前最常用的也只有Redis这一种。如果你在以前面试的时候还没有遇到过面试官问你：为什么说R...
2019-07-23 16:00:22
118
原创 数据仓库分层的原因
我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因：清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：简单来...
2019-07-22 08:40:26
724
原创 Hive优化详解
概述Hive学习也有一段时间了，今天来对Hive进行一个总结，谈谈自己的理解，作者还是个小白，有不对的地方请大家指出相互学习，共同进步。今天来谈一谈什么是Hive，产生背景，优势等一系列问题。什么是Hive先来谈谈自己的理解：有些人可能会说Hive不就是写SQL的吗，那我们其实可以从另一个角度来理解:Hive就是那么强大啊，只要写SQL就能解决问题，其实这些人说的也没错Hive确实就是写S...
2019-07-20 08:45:13
293
原创 常用正则大全
校验数字的表达式数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,}$ m-n位的数字：^\d{m,n}$ 零和非零开头的数字：^(0|[1-9][0-9]*)$ 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(\.[0-9]{1,2})?$ 带1-...
2019-07-20 08:40:24
172
原创 flume安装，简单介绍
1.FLUME ------------------------------ 1.Flume源于cloudera公司，用于自己公司日常数据生产收集， Flume OG， 2.Flume NG，由Apache进行维护 3.Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据.2.F...
2019-07-16 22:18:57
92
原创 sqoop导出入数据到Hive过程详解
1.mysql数据库(sqoop)emp表导入到hive中数据库(ruozedata_teset)的emp_sqoop_test表...
2019-07-10 21:08:54
915
原创 sqoop使用手册（详细版）
1 Sqoop概述2 版本说明3 驱动安装3.1 MySQL4 基本用法4.1 导入4.1.1 保护密码4.1.2 使用其他文件格式4.1.3 压缩导入的数据4.1.4 提高传输速度4.1.5 自定义类型映射4.1.6 并行控制4.1.7 对NULL值进行编码4.1.8 导入所有表4.2 增量导入4.2.1 只导入细腻数据4.2.2 增量导入可变数据...
2019-07-10 21:02:38
1655
原创 sqoop框架的介绍及使用（入门）
介绍(1)sqoop是Apache的顶级项目(2)大数据Hadoop框架生态系统中一员(3)底层就是MapReduce程序，并行计算的框架，并且仅仅只有Map Task(4)官网:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.6/(5)版本:sqoop 1.x版本 使用的时候非常简单，仅仅只需要执行一个命令即可sq...
2019-07-10 21:00:42
444
转载 hive分区表（详解）
用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。分区表一般在数据量比较大，且有明确的分区字段时使...
2019-07-10 20:23:50
2047
转载 mysql求各部门薪资前三的方法
方法一select * from emp e1where (select count(distinct e2.sal) fro...
2019-07-10 15:04:11
300
原创 hive如何实现分组取每组的前三条记录
业务需求有以下两张表--雇员表create table emp(empno INT,COMMENT '雇员编号'ename ...
2019-07-09 23:26:34
2430
原创 Hive严格模式
hive严格模式 hive提供了一个严格模式，可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格模式下无法执行。通过设置hive.mapred.mode的值为strict，可以禁止3中类型的查询。1）带有分区的表的查询 如果在一个分区表...
2019-07-09 21:47:47
290
原创 hive如何创建一个分区表
分区：partition创建一个分区表create table 表名称(字段信息)PARTITIONED BY(分区名称1 数据类型 COMMENT '注释:可不写',分区名称2 数据类型 COMMENT '注释:可不写',)ROW FORMAT DELIMITED FIELDS TERMINATED BY '字段之间分割符' LINES TERMINATED BY '\n'...
2019-07-09 21:38:25
4763
原创 hive中创建表的三种方式
一.普通创建：（1）创建外部表：删除表后数据删除，元数据还在create EXTERNAL table 表名称(字段信息)ROW FORMAT DELIMITED FIELDS TERMINATED BY '字段之间分割符'LINES TERMINATED BY '\n'（2）创建管理表：删除表后数据删除，元数据也删除create table 表名称(字段信息)ROW FOR...
2019-07-09 21:00:16
3593
原创 Hive 如何设置ReduceTask的数量
引言：思考某个MapReduce程序，到底有多少个Map Task和reduceTaskmapTask：要处理的数据放在HDFS上，有多少个Block就有几个Maptask，一个block被一个MapTask处理。reduceTask:自己编写MapReduce程序，自己设定hive：下面3个参数决定：（1）设置每个reduceTask处理的数据量：In order to chang...
2019-07-08 23:02:32
1013
转载 where、having之间的区别和用法
聚合函数是比较where、having 的关键。 开门见山。where、聚合函数、having 在from后面的执行顺序： ...
2019-07-08 19:19:12
139
转载 图解MySQL 内连接、外连接、左连接、右连接、全连接
用两个表（a_table、b_table），关联字段a_table.a_id和b_table.b_id来演示一下MySQL的内连接、外连接（ 左(外)连接、右(外)连接、全(外)连接）。MySQL版本：Server version: 5.6.31 MySQL Community Server (GPL)数据库表：a_table、b_table主题：内连接、左连接（左外连接）、右连接（右外连...
2019-07-08 00:05:12
137
原创 hive表的类型
1.管理表 又称内部表（MANAGED_TABLE）：注：在hive下正常创建一个表：MANAGED默认（可不写）create table tableName2.外部表 又称托管表（EXTERNAL_TABLE）：create EXTERNAL table tableName区别：区别：删除表的时候，管理表删除表的元素和删除数据文件。如果是外部表的话，只删除表的元数据...
2019-07-07 20:21:43
284
原创 hive之-e -f（hive企业中实际应用）
-f：MapReduce程序的提交：肯定是将相关的命令放到脚本里面里面去，可以设置定时任务去提交运行。创建一个xxx.sh目录（如歌是普通用户 则需要在有权限的目录下创建）注：配绝对路径在Hive中如何：（1）在hive目录下创建xxx.sql文件，文件中可写多条sql语句（2）在hive目录下创建一个.sh文件 #!/bin/sh 别忘了！ 解释器指这个文件由谁来解释 ...
2019-07-07 20:16:18
1170
原创 hive导入数据的两种方式
导入数据的方式1.方式一：使用LOAD方式加载加载本地local数据：hdfs putLOAD DATA INPATH linux下文件路径 INTO TABLE 目标表;加载HDFS数据:hdfs mvLOAD DATA INPATH hdfs下文件路径 INTO TABLE 目标表;2.方式二：直接使用HDFS中普通命令上传直接将数据上传到对应目录即可...
2019-07-07 19:02:17
430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人