自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 Linu命令-文本三剑客

处理时,把当前处理的行存储在临时缓冲区中,接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。$n n>0时,当前的第n个列所在的字段;ARGV 数组,保存的是命令行所给定的各参数。NF(Number for Field) 当前行的字段的个数(即当前行被分割成了几列)NR(Number of Record) 行号,当前处理的文本行的行号。

2023-10-10 14:40:11 87 1

原创 Hive的常见问题

数据量有点大,表中某些字段有变化,但是呢变化的频率也不是很高,业务需求呢又需要统计这种变化状态,每天全量一份呢,有点不太现实,不仅浪费了存储空间,有时可能业务统计也有点麻烦,这时,拉链表的作用就提现出来了,既节省空间,又满足了需求。:当Hive表对应的数据量大、文件多时,为了避免查询时全表扫描数据,Hive支持根据用户指定的字段进行分区,分区的字段可以是日期、地域、种类等具有标识意义的字段。:当两个人同时对同一行数据进行更新时,最后提交的更新会覆盖之前的更新,导致之前的更新操作丢失。

2023-09-23 14:35:02 129 1

原创 MongoDB介绍&使用

MongoDB是一个基于分布式文件存储的开源数据库系统。是一个基于文档的数据库,其中文档是指一组键值对(类似于关系型数据库中的一行记录),其中值可以是字符串、整数、数组、嵌套文档等各种数据类型。MongoDB中的文档可以是动态的,即不需要提前定义文档的结构。MongoDB将文档组织为集合(类似于关系型数据库中的表),集合中的文档可以根据需要进行添加、删除、更新和查询等操作。

2023-09-20 10:11:29 184 1

原创 JDK8新特性&JVM

Stream(流)是一个来自数据源的元素队列并支持聚合操作。元素是特定类型的对象,形成一个队列。Java中的Stream并不会存储元素,而是按需计算。数据源流的来源。可以是集合,数组,I/O channel, 产生器generator 等。聚合操作类似SQL语句一样的操作, 比如filter, map, reduce, find, match, sorted等。Pipelining: 中间操作都会返回流对象本身。这样多个操作可以串联成一个管道, 如同流式风格(fluent style)。

2023-09-20 00:05:05 111 1

原创 Redis简介和使用

Redis 是完全开源的,遵守 BSD 协议,是一个C语言开发的一个高性能的 key-value 数据库,可以用来做数据库、缓存、消息中间件等场景,是一种NoSQL(not-only sql,非关系型数据库)的数据库。布隆过滤器(Bloom Filter)是 1970 年由布隆提出的,是一种非常节省空间的概率数据结构,运行速度快,占用内存小,但是有一定的误判率且无法删除元素。它实际上是一个很长的二进制向量或者位图(bitmap)和一系列随机映射函数组成,主要用于判断一个元素是否在一个集合中。

2023-09-19 01:06:22 53 1

原创 MySql数据库知识整理

事务用于保证数据的一致性,它由一组相关的dml(数据操作语言)语句组成,该组的dml语句要么全部成功,要么全部失败。如:转账就要用事务来处理,用以保证数据的一致性。

2023-09-18 15:26:13 30

原创 JUC并发编程&常用辅助类

java.util.concurrent、java.util.concurrent.atomic、java.util.concurrent.locks 这三个操作线程的包包(简称JUC )。充分利用CPU的资源!

2023-09-15 17:37:14 64

原创 多线程和线程池介绍&使用

进程正在运行的程序的一个实例 ,每个进程都有自己独立的地址空间(内存空间)。每启动一个进程,操作系统就会为该进程分配独立的地址空间。线程进程中的一个实体,是被系统独立调度和分派的基本单位。线程本身不具有系统资源的调度权,同一个进程的线程共享进程所拥有的全部资源。一个进程可以启动多个线程在java程序中至少有两个线程并发,一个是 垃圾回收线程,一个是 执行main方法的主线程。池化技术思想:主要是为了减少每次获取资源的消耗,提高对资源的利用率。

2023-09-14 16:52:52 124 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除