- 博客(114)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据仓库相关概念的解释
因此，数据仓库中的数据清洗工作主要还是在数据转换的时候进行。（load）至目的端的过程，它能够对各种分布的、异构的元数据（如关系数据）进行抽取，按照预先设计的规则将不完整数据、重复数据以及错误数据等“脏”数据内容进行清晰，得到符合要求的“干净”数据，并加载到数据仓库中进行存储，这些“干净”数据久成为了数据分析、数据挖掘的基石。注意：在这层，理应不是简单的数据接入，而是要考虑一定的数据清洗，比如异常字段的处理、字段命名规范化、时间字段的统一等，一般这些很容易会被忽略，但是却至关重要。
2023-03-10 17:18:20
1550
原创 Spark 的学习笔记
Apache Spark 是一个快速的，多用途的集群计算系统。它提供了 Java，Scala，Python 和 R 的高级 API，以及一个支持通用的执行图计算的优化过的引擎，它还支持一组丰富的高级工具，包括使用 SQL 处理结构化数据的 Spark SQL，用于机器学习的 MLlib，用于图计算的 GraphX，以及 Spark Streaming。Spark官网下载。
2022-12-30 10:22:38
2411
2
原创 Vue生命周期的学习笔记
每一个 vue 实例从创建到销毁的过程，就是这个 vue 实例的生命周期。在这个过程中，他经历了从开始创建、初始化数据、编译模板、挂载Dom、渲染->更新->渲染、卸载等一系列过程。通俗来说，vue 生命周期是指vue中实例或组件从创建到消灭经过的一系列过程。
2022-12-27 14:49:25
176
原创 React 的学习笔记
React 是一个用于构建用户界面的 JAVASCRIPT 库。React 主要用于构建 UI，很多人认为 React 是 MVC 中的 V （视图）。React 起源于 Facebook 的内部项目，用来架设 Instagram 的网站，并于 2013 年5月 开源。React 拥有较高的性能，代码逻辑非常简单，越来越多的人已开始关注和使用它。React 官网：https://reactjs.org/
2022-11-15 11:37:18
310
原创 Scala 的学习笔记
Scala 是 Scalable Language 的简写，是一门多范式的编程语言。Scala 是一种纯面向对象的语言，每个值都是对象。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径：一种途径是子类继承，另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。Scala 也是一种函数式语言，其函数也能当成值来使用。Scala 提供了轻量级的语法用以定义匿名函数，支持高阶函数，允许嵌套多层函数，并支持柯里化。
2022-11-15 11:34:54
1969
1
原创 StarRocks 的学习笔记
StarRocks 是一款极速全场景MPP 分析型数据库，可以“一栈式”的响应企业各类低延迟场景的查询需求。StarRocks的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用StarRocks 来支持多种数据分析场景的极速分析。StarRocks的架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO 优化器，查询速度（尤其是多表关联查询）远超同类产品。
2022-10-28 15:44:30
5557
1
原创 Linux的一些知识（8）
ps是查看 Linux 中当前运行的进程的命令。能列出系统中运行的进程，包括进程号、命令、CPU使用量、内存使用量等。ps 命令是 Process Status 的缩写。ps 命令用来列出系统中的那些进程，就是执行 ps 命令的那个时刻的那些进程的快照。使用该命令可以确定有哪些进程正在运行和 运行的状态、进程是否结束、进程有没有僵死、哪些进程占用了过多的资源等等。总之大部分信息都是可以通过执行该命令的得到的。ps 查看的结果不是动态连续的，如果想要动态的显示进程信息，就可以使用top、htop 命令。
2022-09-27 13:23:45
407
原创 Redis 常用命令的学习
程序是用来处理数据的，Redis 是用来存储数据的，程序处理完的数据要存储在Redis 中，不同特点的数据要存储在Redis 中不同类型的数据结构中。数据在没有存到Redis 之前存在内存中。Redis 是一个开源（BSD许可的），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。字符串类型：string哈希类型：hash列表类型：list集合类型：set有序集合类型：sortedset（zset）如果数据特别重要，可以开启两个策略，丹斯效率会降低。一般只开启RDB。
2022-09-27 13:20:20
607
原创 Java转义工具类StringEscapeUtils的学习笔记
StringEscapeUtils的主要功能就是为Java，Java Script，Html，XML进行转义与反转义。
2022-09-05 09:06:09
13361
原创 Prometheus(监控报警系统) 的学习笔记
Prometheus是一个最初在SoundCloud上构建的开源系统监控和警报工具包。从2012年开始，许多公司和组织开始使用prometheus，该项目拥有非常活跃的开发人员和用户社区。目前它是一个独立的开源项目，并且不依赖于任何公司。为了强调这一点，并澄清项目的治理结构，Prometheus在2016年加入Cloud Native Computing Foundation，作为kubernetes 之后的第二个托管项目。...
2022-08-25 20:36:11
1798
原创 Linux的一些知识(7)
1.查看某个端口是否被占用2. 查看所有已经使用的端口情况3. 查看Linux 内核版本命令4. 查看Linux 系统版本的命令5. 防火墙相关
2022-08-20 14:12:49
227
原创 ElasticSearch中文分词
Elasticsearch模糊查询这么快，是因为采用了倒排索引，而倒排索引的核心就是分词，把text格式的字段按照分词器进行分词并编排索引。为了发挥自己的优势，Elasticsearch已经提供了多种功能强大的内置分词器。...
2022-07-29 15:32:06
547
2
原创 Elasticsearch学习笔记（含知识点，安装及使用）
ElasticSearch 是一个分布式，高性能、高可用、可伸缩、RESTful 的搜索和数据分析引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。通常作为 Elastic Stack 的核心来使用。...
2022-07-28 13:45:40
1307
1
原创 MySQL 强化知识点
1. INSERT INTO... ON DUPLICATE KEY 用法 当在 insert 语句末尾指定了 on duplicate key update 语句时，如果新插入的新数据中 a列 的值已经在数据库中存在，则会执行后面的 update 语句。2. replace into...values 用法.........
2022-07-25 10:18:07
335
1
原创 Canal 的学习笔记
Canal，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canalclient用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）这里我们可以简单地把canal理解为一个用来同步增量数据的一个工具。...
2022-07-21 16:07:37
106
原创 Datax的学习笔记
Datax是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、MaxCompute（原ODPS）、HBase、FTP等各种异构数据源（即不同的数据库）之间稳定高效的数据同步功能。...
2022-07-21 14:42:29
567
原创 Flink 的学习笔记
Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink是做Batch计算的，但是在2014年，StratoSphere里面的核心成员孵化出Flink，同年将Flink捐赠Apache，并在后来成为Apache的顶级大数据项目，同时Flink计算的主流方向被定位为Streaming，即用六十计算来做所有大数据的计算，这就是Flink技术诞生的背景。...
2022-07-19 19:00:33
1236
原创 策略模式，看一篇就够了
在策略模式中，一个类的行为或其算法可以在运行时更改。这种类型的设计模式属于行为型模式。在策略模式中，我们创建表示各种策略的对象和一个行为随着策略对象改变而改变的context对象。策略对象改变 context 对象的执行算法。...
2022-07-14 15:23:59
8625
11
原创 领域驱动模型（DDD）
领域模型是对具有某个边界的领域的一个抽象，反映了领域内用户业务需求的本质；领域模型是有边界的，只反映了我们在领域内所关注的部分；
2022-07-13 20:11:30
3729
原创 PO,BO,VO,DTO和POJO的概念区分
POJO无规则单java对象视图对象，用于表现层，它的作用是把某个指定页面（或组件）的所有数据封装起来。VO通常是 Web 向模板渲染引擎层传输的对象。对应页面显示（web页面、swt、swing界面）的数据对象。可以和表对应，也可以不，这根据业务的需要。数据传输对象：用于表现层与服务层之间的数据传输对象，它不应该包含业务逻辑。DTO可以是Service 和 Manager 向外传输的对象。大多数情况下，DTO内的数据来自多个表。...
2022-07-13 20:08:57
1709
原创 Filebeat 的学习笔记
Filebeat 是一个用于转发和集中日志数据的轻量级传送工具。作为代理安装在您的服务器上，Filebeat 监控您指定的日志文件或位置，收集日志事件，并将他们转发到 Elasticsearch 或 Logstash 以进行索引。...
2022-07-12 09:35:23
2139
原创 Flume的学习笔记
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。Flume 是可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据源中集中起来存储的工具/服务。Flume 可以采集文件，socket 数据包（网络端口）、文件夹、kafka、mysql 数据库等各种形式源数据，又可以将采集到的数据（下沉sink）输出到HDFS、Hbase 、hive、kafka 等众多外部存储系统中。......
2022-07-11 20:26:45
2600
1
原创 MySQL 语法大全
MySQL 语法大全文章目录MySQL 语法大全1. MySQL创建数据库2. MySQL 删除数据库3. MySQL 选择数据库4. MySQL 数据类型数值类型日期和时间类型字符串类型5. MySQL 创建数据表6. MySQL 删除数据表7. MySQL 插入数据8. MySQL 查询数据9. MySQL WHERE 子句10. MySQL UPDATE 更新11. MySQL DELETE 语句12. MySQL LIKE 子句13. MySQL UNION 操作符14. MySQL 排序15.
2022-04-13 14:54:26
2037
原创 学习 MySQL 必须要知道的知识
学习 MySQL 必须要知道的知识文章目录学习 MySQL 必须要知道的知识1. SQL 语言的分类1. 数据查询语言DQL2. 数据操纵语言DML3. 数据定义语言DDL4. 数据控制语言DCL超键、候选键、主键、外键分别是什么？SQL 约束有哪几种？2. MySQL 存储引擎1.概述2. 查看支持的引擎3. 常用的存储引擎`InnoDB``MyISAM``MEMORY`3. 视图什么是视图？特点使用场景视图的优点视图的缺点使用视图定义视图使用视图删除视图什么是游标？4. 存储过程什么是存储过程？优点
2022-04-11 15:31:44
353
原创 Presto 与 Hive 语法学习
Presto 与 Hive 语法学习文章目录Presto 与 Hive 语法学习1. Presto语法1.1 数据类型布尔值整数浮点固定精度字符串日期和时间结构网络地址UUIDHyperLogLogKHyperLogLog1.2 SQL 语句语法ALTER FUNCTION --改变函数ALTER SCHEMA --改变模式ALTER TABLE --改变表ANALYZE --分析CALL -- 调用过程COMMIT -- 提交CREATE FUNCTION -- 创建函数CREATE ROLE --创
2022-04-09 16:06:12
3897
原创 Linux的一些知识(6)
Linux的一些知识(6)文章目录Linux的一些知识(6)1. more命令格式及常用参数一些示例2. less 命令格式及常用参数示例3. head命令格式及常用参数一些示例4. tail 命令格式及常用参数1. more命令功能类似cat，cat命令是将整个文件的内容从上到下显示在屏幕上。more命令会一页一页的显示，方便使用者逐页阅读，而最基本的指令就是按空格键（space）往下一页显示，按 b 键就会往回（back）一页显示，而且还有搜寻字符串的功能。more命令从前向后读取文件，因此在启动
2022-03-31 16:36:16
635
原创 MapReduce的学习笔记
MapReduce的学习笔记MapReduce的官网文档地址：https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html1. 概述Hadoop MapReduce 是一个软件框架，用于轻松编写应用程序，以可靠、容错的方式在大型商用硬件集群（数千个节点）上并行处理大量数据（多TB数据集）。一个MapReduce job 通常将输入的数
2022-03-29 18:33:45
3088
原创 HDFS常用命令的学习
HDFS常用命令的学习文章目录HDFS常用命令的学习1. hadoop fs,hadoop dfs,hdfs fs,hdfs dfs 区别2. Hadoop 命令3. HDFS 常用命令命令的使用常用命令示例小结hdfs 与 getconf结合使用hdfs 与 dfsadmin结合使用hdfs 与 fsck结合使用其他命令4. 安全模式1. hadoop fs,hadoop dfs,hdfs fs,hdfs dfs 区别fs 与 dfs 有什么区别呢？fs是文件系统，dfs是分布式文件系统。fs
2022-03-29 15:17:04
5316
1
原创 Linux的一些知识(5)
Linux的一些知识(5)文章目录Linux的一些知识(5)1. grep命令作用格式及其主要参数示例2. find命令**find命令格式：**参数说明示例1、按名字查找2、按目录查找3、按权限查找4、按类型查找（b/d/c/p/l/f）5、按属主及属组6、按时间查找7、按文件新旧8、按大小查找9、执行命令关于有没有-print的区别3. 管道命令命令执行顺序控制管道命令1. grep命令作用 Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来
2022-03-28 14:57:45
1291
原创 Linux的一些知识(4)
Linux的一些知识(4)1. 看本机ip/sbin/ifconfig支持包括Linux在内的所有的Unix系统ip addr show 或者 ip addr对Linux而言，也可以使用ip命令查看ifconfig 或者 ifconfig -a有可能刚开始，不能直接使用ifconfig命令。需要install net-tools命令为： sudo apt install net-tools使用 sudo apt autoremove 来卸载2. curl 命令及
2022-03-26 13:40:04
1600
原创 Java通过方法实现IP格式校验
Java通过方法实现IP格式校验代码如下： * @auther baijiayi * @Date 2022/3/23 9:00 */public class IPCheckTest { /** * Ip校验 * @param ipAddress 单个ip * @return */ public static boolean isValidIPAddress(String ipAddress) { if ((ipAddress
2022-03-25 08:47:10
7028
原创 Java代码模拟一个Post请求
Java代码模拟一个Post请求 我们常用的http请求无非GET和POST。在springboot项目中，我们如果想要简单测试一段代码无非就是项目跑起来，然后在浏览器中通过输入url，看浏览器中（按F12）控制台是否响应成功，看IDEA控制台的打印内容以及日志。 但是在浏览器中输入url，GET请求很好模拟，无非是本机ip+服务端口+springboot项目中在controller层配置的@RequestMapping("/访问路径")。而POST请求就不是那么好模拟的了，因为POST请求一般包含
2022-03-21 09:50:06
5378
4
原创 curl 命令的学习笔记
curl 命令的学习笔记curl 官网：https://curl.haxx.se/curl 全称 CommmandLine URL 或 CommandLine Uniform Resource Locator，是用于从服务器传输传输数据或向服务器传输数据的工具。它支持以下协议：DICT、FILE、FTP、FTPS、GOPHER、GOPHERS、HTTP、HTTPS、IMAP、IMAPS、LDAP、LDAPS、MQTT、POP3、POP3S、RTMP、RTMPS、RTSP、SCP、SFTP、SMB、SM
2022-03-18 14:17:21
1499
原创 Presto的学习笔记
Presto的学习笔记1. Presto简介 Presto是Facebook 推出的一个开源的分布式SQL 查询引擎，数据规模可以支持GB到PB级，主要应用于处理秒级查询的场景。 Presto 是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。Presto是一个OLAP的工具，擅长对海量数据进行复杂的分析；但是对于OLAP场景，并不是Presto所擅长，所以不要把Presto当作数据库来使用。数据仓库的定义：一个面向主题，集成的，稳定，随时间变化的数
2022-03-17 14:46:33
2480
1
原创 定时任务 @Scheduled注解的学习
定时任务 @Scheduled注解的学习Spring中提供了@Scheduled注解，目的是为了方便进行定时任务的开发。要使用@Scheduled注解，首先需要在启动类添加@EnableScheduling，启用Spring的计划任务执行功能，这样可以在容器中的任何Spring管理的bean上检测Scheduled注解，执行计划任务。@EnableScheduling 在配置类上使用，开启计划任务的支持（类上）@Scheduled 来声明这是一个任务，包括cron,fixDelay,fi
2022-03-16 16:54:04
2551
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人