自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(480)
  • 资源 (27)
  • 论坛 (1)
  • 收藏
  • 关注

转载 ArrayList.trimToSize()方法

在看《Java 核心技术卷一》时,认识到了trimToSize()这个方法。原文内容如图所示。接下来拿例子来参考一下:下文内容转载自其他博主blog,讲解的很清晰。  前几天看了Java ArrayList,没有明白trimToSize()这个方法是什么意思,所以看了一下源码并且debug一下自己的一个例子,明白了其中的含义。贴在这里。ArrayList al = new ArrayList(10);for(int i=0;i<10;i++){ al.add(i);}al.

2021-09-03 22:31:46 46

原创 Hive开篇基本介绍

本文目录Hive是个啥玩意1.Hive简介2.Hive优缺点3.Hive架构图4.Hive 运行机制5.Hive VS 数据库Hive是个啥玩意  学习完 Hadoop 之后,在Hadoop阶段主要就是 MR的编写。但是写 MR 还是有点麻烦,会写很多无意义的代码,然而有意义的代码只有那么几行,就是map 和 reduce 中的一些业务,Driver中的代码贼无聊,也没有意义,此时Hive就出世了。如需学习 Hadoop 专栏,参考:Hadoop 教程目录  Hive 将无聊的代码封装起来了,只需要我

2021-08-31 10:21:03 29

转载 Java 枚举 结合switch的用法

因有个判断需要处理不同系统类型跳转不同 系统。 考虑用switch + 枚举的方式。 具体使用案例如下:package com.b2b.common.constant; import com.base.utils.base.StringUtils; /** * 系统类型枚举 * @author shijing */public enum SystemType { ERP(0,"ERP"), ORDER_PLATFORM(1,"订货平台"), PERSONAL(

2021-08-28 13:52:44 54

原创 [JAVA面试题]为什么会出现4.0-3.6=0.3999999999这种现象?

为什么会出现4.0-3.6=0.3999999999这种现象? 很多人都知道:浮点数值不适用于无法接受舍入误差的金融计算中,即:我们常说的丢失精度问题。  很多人还知道这样一句话:这种舍入误差的主要原因是浮点数值采用二进制系统表示, 而在二进制系统中无法精确地表示分数 1/10。这就好像十进制无法精确地表示分数 1/3—样。针对十进制,1除以3是除不尽的。很好理解,因为我们一直接触的就是十进制,等于0.333333… 很好理解但是:二进制系统中无法精确地表示分数 1/10。为啥呢。

2021-08-28 09:45:40 5833 37

原创 3.Kafka常用命令

1、查看当前服务器中的所有topicbin/kafka-topics.sh --list --zookeeper zk01:21812、创建topicbin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 2 --partitions 3 --topic orderMq备注:  replication-factor 备份数(2个备份)  partitions 3 kafka分区数(3个分区)

2021-08-06 15:03:39 96

原创 Flume自定义Source、Sink、数据流监控

参考: 3.6 自定义Source 3.7 自定义Sink 3.8 Flume数据流监控 地址:  阿里云盘:https://www.aliyundrive.com/s/qZqsEN47GZQ  百度网盘:https://pan.baidu.com/s/1j4t8w0rtZ5gVNdy8Fqwo2g  提取码:cobq

2021-08-05 11:42:03 51

原创 Flume案例十:多路复用通道选择器(Multiplexing Channel Selector)

Flume案例十:多路复用通道选择器(Multiplexing Channel Selector)选型: Flume-1:taildir source + memory channel + avro sink + Multiplexing Channel Selector(多路复用渠道选择器) Flume-2:avro source + memory channel + logger sink Flume-3:avro source + memory channel + logger sink

2021-06-28 17:24:16 127

原创 Flume案例九:多数据源聚合

Flume案例九:多数据源聚合选型: Flume-1:taildir source + memory channel + avro sink Flume-2:taildir source + memory channel + avro sink Flume-3:avro source + memory channel + hdfs sink

2021-06-28 15:30:17 80 2

原创 Flume案例八:负载均衡(Load balancing Sink Processor)

Flume案例八:负载均衡(Load balancing Sink Processor)选型: Flume-1:taildir source + memory channel + avro sink + Load balancing Sink Processor(负载均衡) Flume-2:avro source + memory channel + logger sink Flume-3:avro source + memory channel + logger sink

2021-06-25 17:03:07 77 4

原创 Flume案例七:故障转移(Failover Sink Processor)

Flume案例七:故障转移(Failover Sink Processor)选型: Flume-1:netcat source + memory channel + avro sink + Failover Sink Processor(故障转移) Flume-2:avro source + memory channel + logger sink Flume-3:avro source + memory channel + logger sink

2021-06-25 16:19:40 48 1

原创 Flume案例六:复制通道选择器(Replicating Channel Selector)

Flume案例六:复制通道选择器(Replicating Channel Selector)选型: Flume-1:taildir source + memory channel + avro sink + Replicating Channel Selector(复制通道选择器) Flume-1:avro source + memory channel + hdfs sink Flume-1:avro source + memory channel + file roll sink(写入到本地文件

2021-06-24 17:29:29 49

原创 Flume案例五:实时监控多个目录下多个追加文件(Taildir Source)

五、Flume案例五:实时监控多个目录下多个追加文件(Taildir Source)(选型:taildir source + memory channel + hdfs sink)

2021-06-24 16:18:06 243

原创 Flume案例四:实时监控目录下多个新文件(Spooling Directory Source)

四、Flume案例四:实时监控目录下多个新文件(Spooling Directory Source)(选型:spooling directory source + memory channel + hdfs sink)

2021-06-24 15:20:40 59

原创 Flume案例三:实时监控单个追加文件(tail -f 日志)到HDFS

Flume案例三:实时监控单个追加文件(tail -f 日志)到HDFS(选型:exec source + memory channel + hdfs sink)

2021-06-24 14:46:48 67

原创 Flume案例二:实时监控单个追加文件(tail -f 日志)(exec source)

Flume案例二:实时监控单个追加文件(tail -f 日志)(选型:exec source + memory channel + logger sink)

2021-06-24 13:33:38 68 2

原创 Flume案例一:监控 netcat 端口数据案例

Flume案例一:监控 netcat 端口数据案例(选型:netcat source + memory channel + logger sink)

2021-06-24 10:51:49 68

原创 Flume介绍、安装、使用案例、自定义Source/Sink、监控

  大数据领域,主要解决的就是3件事情:①海量数据的存储(hdfs)  ②海量数据的传输   ③海量数据的计算(MapReduce)。Flume的出现,主要用来解决海量数据的传输问题。

2021-06-23 17:35:19 98

原创 搭建 Hadoop-3.1.3 HA 集群

二十六、搭建 Hadoop-3.1.3 HA 集群

2021-06-16 16:24:29 53

原创 Hive 教程目录

目录:基于 Hive 3.1.2版本 介绍Hive 专栏:Hive开篇基本介绍CentOS 7.7 安装 Hive 3.1.2Hive 参数配置的三种方式Hive 数据类型Hive DDL数据定义语言Hive DML数据操纵语言Order By、Sort By、Distribute By、Cluster By 使用说明书Hive 分区表 & 分桶表Hive 内置函数Hive自定义函数Hive安装 Tez 引擎Hive调优篇下一篇:Order By、Sort By、D

2021-06-11 16:22:36 32 2

原创 Hive调优篇

十二、Hive生产调优篇1.压缩Ⅰ.Map输出阶段压缩Ⅱ.Reduce输出阶段压缩2.文件存储格式Ⅰ.行存储 & 列存储Ⅱ.TextFile 格式Ⅲ.Orc 格式Ⅳ.Parquet 格式Ⅴ.如何指定表存储格式Ⅵ.存储使用空间 & 查询速度 对比Ⅶ.存储和压缩结合示例3.Explain 查看SQL执行计划4.Fetch 抓取5.本地模式6.表与表Join优化Ⅰ.小表 Join 大表Ⅱ.大表 Join 大表1.空 key 过滤2.空 key 转换

2021-06-11 16:09:33 110

原创 Hive安装 Tez 引擎

十一、Hive安装 Tez 引擎

2021-06-11 16:05:25 68

原创 Hive自定义函数

十、Hive自定义函数1.自定义函数步骤2.自定义UDF函数3.自定义UDTF函数

2021-06-07 11:11:11 72 8

原创 Hive 内置函数

九、Hive 内置函数1.nvl2.case when then else end3.concat4.concat_ws5.collect_set6.collect_list7.explode + lateral view侧写表8.grouping sets 多维分析9.over 开窗函数10.rank11.dense_rank12.row_number

2021-06-07 11:06:21 109

原创 Hive 分区表 & 分桶表

八、Hive 分区表 & 分桶表1.分区表Ⅰ.分区表基本操作Ⅱ.二级分区Ⅲ.动态分区Ⅳ.手工创建的分区目录,如何让数据与分区信息进行关联2.分桶表Ⅰ.分桶表基本操作Ⅱ.抽样查询

2021-06-01 14:35:22 109 1

原创 Sort By、Distribute By 使用说明书

七、Order By、Sort By、Distribute By、Cluster By 的使用

2021-05-27 16:31:55 506 1

原创 Hive DML数据操纵语言

六、1.导入数据Ⅰ.导入数据的三种方式Ⅱ.load 命令:向表中装载数据Ⅲ.通过查询语句向表中插入数据(insert)Ⅳ.查询语句中创建表并加载数据(As Select)Ⅴ. 创建表时通过 Location 指定加载数据路径Ⅵ.Import 数据到指定 Hive 表中2.数据导出Ⅰ.insert 导出Ⅱ.Hadoop 命令导出到本地Ⅲ.Hive Shell 命令导出Ⅳ.export 导出到 HDFS 上Ⅴ.Sqoop 导出3.删除数据Ⅰ.清除表中数据Ⅱ.通过删表方式删除数据

2021-05-25 16:35:09 90 3

原创 Hive DDL数据定义语言

五、1.创建数据库Ⅰ.建库语句Ⅱ.查询数据库1.查看已有的数据库2.使用数据库3.显示数据库信息Ⅲ.修改数据库dbproperties属性Ⅲ.删除数据库1.删除空数据库2.删除非空数据库,采用 cascade 命令强制删除2.创建表Ⅰ.建表语句Ⅱ.内部表 & 外部表1.内部表(管理表)和外部表区别2.何时用内部表(管理表)?何时用外部表?3.内部表和外部表的转换Ⅲ.show 查看已有表的建表语句Ⅳ.修改表1.重命名2.增加、修改、删除分区3.增加、修改、替换列信息

2021-05-25 10:21:20 80 2

原创 Hive 数据类型

四、Hive 数据类型(基本数据类型 、集合类型)

2021-05-24 10:21:57 62 2

原创 Hive 参数配置的三种方式

三、1.Hive 参数配置的三种方式2.hive -e、hive -f 与参数配置 配合使用

2021-05-21 16:09:16 168

原创 CentOS 7.7 安装 Hive 3.1.2

二、CentOS 7.7 安装 Hive 3.1.2

2021-05-19 14:42:44 299 7

原创 Hive开篇基本介绍

一、Hive是个啥玩意1.Hive简介1.2 Hive优缺点1.3 Hive架构图1.4 Hive 运行机制1.5 Hive VS 数据库

2021-05-18 13:56:19 73 4

原创 idea提交SVN忽略 .iml 文件的提交

快捷键:Ctrl + Shift + S 进入 Settings选择 Editor→ File Types → Ignored Files and Folders → 点击 + 号添加即可

2021-05-13 09:23:01 818

原创 Hadoop 教程目录

目录:基于 Hadoop3.1.3版本 介绍Hadoop 专栏:大数据技术生态体系Hadoop 自定义脚本汇总Hadoop 入门基本了解Hadoop 2.10.1源码编译(Apache版—Linux环境)CentOS 7.7 安装 Hadoop 2.10.1集群CentOS 7.7 安装 Hadoop 3.1.3集群NameNode is still loading. Redirecting to the Startup Progress page 问题解决HDFS 优缺点 + 组成架构

2021-05-10 14:52:38 90

原创 Hadoop生产调优篇

二十七、第 1 章 HDFS—核心参数1.1 NameNode 内存生产配置1.2 NameNode 心跳并发配置1.3 开启回收站配置第 2 章 HDFS—集群压测2.1 测试 HDFS 写性能2.2 测试 HDFS 读性能第 3 章 HDFS—多目录3.1 NameNode 多目录配置3.2 DataNode 多目录配置3.3 集群数据均衡之磁盘间数据均衡第 4 章 HDFS—集群扩容及缩容4.1 添加白名单4.2 服役新服务器4.3 服务器间数据均衡4.4 黑名单退役服务器第 5 章 HDFS—存储优

2021-05-10 14:38:25 61

原创 Yarn 的 Tool接口,实现MR程序

二十五、Yarn 的 Tool接口,实现MR程序

2021-05-06 09:09:07 163 1

原创 Yarn 生产环境核心参数配置、多队列/优先级配置

二十四1.Yarn 生产环境核心参数配置2.容量调度器多队列配置 & 提交至指定队列案例3.任务优先级配置4.公平调度器多队列配置 & 提交至指定队列案例

2021-04-30 17:13:11 247

原创 yarn生产环境核心参数介绍

二十三、yarn生产环境核心参数介绍

2021-04-29 16:22:31 113

原创 yarn常用命令

二十二、yarn常用命令1.yarn application 查看任务Ⅰ.列出所有 ApplicationⅡ.根据 Application 状态过滤Ⅲ.Kill杀死某个任务2.yarn logs 查看日志Ⅰ.查看application(任务)日志Ⅱ.查看Container(容器)日志3.yarn applicationattempt 查看尝试运行的任务Ⅰ.列出某个application尝试的列表Ⅱ.查询ApplicationAttempt状态4.yarn container 查看容器

2021-04-29 10:41:58 113

原创 Yarn工作流程、Yarn三大调度器介绍

二十一、Yarn工作流程、Yarn三大调度器介绍1.Yarn 基础架构2.Yarn工作机制Ⅰ.流程说明3.Yarn工作机制高清大图4.Yarn调度器和调度算法 (仅做了解即可)Ⅰ.FIFO调度器Ⅱ.容量调度器(Capacity Scheduler)1.特点2.资源分配算法Ⅲ.公平调度器(Fair Scheduler)1.缺额情况2.队列资源分配方式

2021-04-28 16:51:15 100 1

原创 Hadoop 用于 ETL

十九、Hadoop 用于 ETL

2021-04-20 17:13:42 102

SpringBoot使用注解实现 Redis 数据库的切换.zip

SpringBoot,注解实现Redis 库的切换。

2020-04-08

【中华石杉】ElasticSearch 5.x顶尖高手系列视频

【中华石杉】ElasticSearch 5.x顶尖高手系列视频,讲解挺全面的,淘宝买的

2018-01-06

Vue.js 实战 问卷调查demo

Vue.js实战 问卷调查demo, 自己使用vue作用域插槽实现的。2积分就可以了。我改不了啊。是默认5积分吧??欢迎大家下载。欢迎大家更正

2019-04-03

Thymeleaf 参考手册.zip

Thymeleaf 开发参考文档,仅用作备份使用。用于Spring Boot 开发 Thymeleaf 使用,随手一翻,永无 bug

2020-03-29

Spring Boot 国际化(i18n)配置demo.zip

Spring Boot 国际化(i18n)配置demo,该demo下载即可正常使用,本案例仅供学习参考。

2020-03-29

Flink-MysqlTwoPhaseCommit.zip

Flink MySQL二阶提交代码,为了保证前一次 CheckPoint 成功后到这次 CheckPoint 成功之前这段时间内的数据不丢失,如果执行到一半过程任务失败了,从而导致前一次CheckPoint成功后到任务失败前的数据已经存储到了MySQL,然而这部分数据并没有写入到 CheckPoint。如果任务重启后,前一次CheckPoint成功后到任务失败前的数据便会再次写入MySQL,从而导致数据重复的问题。

2020-02-27

Flink新工程.zip

Flink 工程,Maven 从官方导入后不明原因报 StreamExecutionEnvironment 类找不到。此处备份一份可正常运行的Flink 工程

2020-02-26

SpringBootDemo3(boot整合thymeleaf,thymeleaf例子,mybatis,druid,mybatis自动生成代码)

使用SpringBoot下的WebMvc框架(SpringBoot整合thymeleaf,thymeleaf例子,mybatis,druid,mybatis自动生成代码,springbootDemo2付springboot整合Thymeleaf,官方推荐使用Thymeleaf,不建议使用JSP)

2018-07-20

spring-framework-5.0.2.RELEASE-中文注释版.zip

spring-framework-5.0.2.RELEASE-中文注释版.zip,此处备份,用于自学使用

2020-03-10

快学Scala(第2版)高清带书签

快学Scala(第2版)高清带书签,非常好的一本Scala工具书,欢迎大家下载

2019-03-19

spring-annotataion-kafka.zip

基于 注解Annotation 方式,spring整合kafka demo实例。该实例直接下载即可正常运行

2019-09-10

抽象工厂模式Demo实例

抽象工厂模式Demo实例,如有想了解抽象工厂模式,可参考原博文:https://blog.csdn.net/lzb348110175/article/details/89597958,该Demo配套原博文使用

2019-04-27

JS DateUtil工具类

JS日期工具类,方便大家的使用。后期会持续更新.......

2019-04-02

SpringBoot 基于注解,实现多数据源切换.zip

本项目是:SpringBoot 基于注解,实现多数据源切换(辅助用到:Druid连接池 + 事务 + MyBatis 等),项目下载后只需要修改一下.yml文件中的 MySQL 的URL连接,即可成功启动,欢迎大家下载

2019-10-30

hadoop-2.10.1.tar.gz(手动编译后的版本)

Hadoop 2.10.1 ,手动编译后的版本。集群模式下可正常运行。配套资料参考:https://blog.csdn.net/lzb348110175/category_7818038.html

2020-10-20

zookeeper启动脚本

zookeeper启动脚本,zookeeper启动脚本,zookeeper启动脚本

2018-07-20

mvcDemo3(基于mvcDemo2,添加事务,aop机制)

MVC基于JSP最简单框架,整合Spring,SpringMVC,MyBatis,JSP,druid数据源,tx事务,aop机制,一套最基本的WEB开发框架(后续mvcDemo2,mvcDemo3整合其他技术,比较全面,mvcDemo1至mvcDemo3你会学会如何从简单到复杂来搭建Web框架)

2018-07-20

【基于xml方式】spring-kafka.zip

基于xml方式,spring整合kafka demo实例。该实例直接下载即可正常运行

2019-09-09

Spring Boot自定义异常内容展示代码.zip

Spring Boot自定义异常内容代码,用来自定义异常展示信息,添加需要展示的信息等,并满足自适应显示。浏览器访问出现异常返回 Hmtl页面,客户端访问出现异常返回 Json 数据。该 Demo 仅用作备份

2020-04-01

zookeeper关闭脚本

zookeeper关闭脚本,zookeeper关闭脚本,zookeeper关闭脚本

2018-07-20

dubbo_demo.zip

dubbo入门之dubbo demo。别给自己找理由,给自己一个决心,给自己一个目标,给自己一个前进的动力,其实你是最棒的。努力学习知识中....

2019-08-01

SpringBootDemo2(boot整合thymeleaf,mybatis,druid,mybatis自动生成代码)

使用SpringBoot下的WebMvc框架(SpringBoot整合thymeleaf,mybatis,druid,mybatis自动生成代码,springbootDemo2付springboot整合Thymeleaf,官方推荐使用Thymeleaf,不建议使用JSP)

2018-07-20

SpringBootDemo1(boot整合jsp,mybatis,druid,mybatis自动生成代码)

使用SpringBoot下的WebMvc框架(SpringBoot整合jsp,mybatis,druid,mybatis自动生成代码,springbootDemo2付springboot整合Thymeleaf,官方推荐使用Thymeleaf,不建议使用JSP)

2018-07-20

mvcDemo2(基于mvcDemo1,添加druid数据源)

MVC基于JSP最简单框架,整合Spring,SpringMVC,MyBatis,JSP,druid数据源,一套最基本的WEB开发框架(后续mvcDemo2,mvcDemo3整合其他技术,比较全面,mvcDemo1至mvcDemo3你会学会如何从简单到复杂来搭建Web框架)

2018-07-20

Spring Boot 自定义starter启动器(demo).zip

Spring Boot 自定义starter启动器 Demo 部分,用于记录使用。该demo 配套教程 https://blog.csdn.net/lzb348110175/article/details/105330274。

2020-04-05

mvcDemo1(最基础的Web开发框架)

MVC基于JSP最简单框架,整合Spring,SpringMVC,MyBatis,JSP,一套最基本的WEB开发框架(后续mvcDemo2,mvcDemo3整合其他技术,比较全面,mvcDemo1---&gt;mvcDemo3你会学会如何从简单到复杂来搭建Web框架)

2018-07-20

log4j.properties

log4j.properties

2019-09-19

求删除资源

发表于 2019-04-30 最后回复 2019-04-30

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除