自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Aidon博客

工作中用到的技术 、 工作学习到的技术 、 了解的It前沿信息 、 最新IT 技术。。。

  • 博客(136)
  • 资源 (7)
  • 收藏
  • 关注

原创 图数据库Neo4j详解

​ Neo4j是一个开源的、 无Shcema的、 基于java开发的图形数据库,它将结构化数据存储在图中而不是表中。本文覆盖图数据库和Neo4j概要、Neo4j安装部署、Neo4j实践操作、Neo4j Admin、Neo4j API开发。具体包含图数据库概念、图论起源、、节点-关系图、图数据库分类、图数据库应用场景、图数据库与关系型数据库区别、图数据库优势、Neo4j特点、优势、数据模型、Neo4j安装部署、Cypher应用、图数据库函数、图数据库操作、索引和约束管理、Java和Python API开发等。

2023-11-10 15:56:23 1601

原创 一篇搞定,Kettle详细教程

本文主要以Kettle概述、Kettle开发环境部署、mac m1 kettle安装、linux kettle安装、kettle集群安装部署、kettle输入、kettle输出、kettle转换、kettle批量加载、kettle流程、kettle脚本、kettle的Java代码案例、kettle查询控件、kettle连接控件、kettle映射控件、kettle统计控件、kettle应用、kettle整合大数据、kettle streaming控件、kettle作业、kettle调度、kettle变量和参数

2023-09-21 11:54:19 1922

原创 DolphinScheduler 3.1.4详细教程

大数据目前比较火爆的任务调度平台DolphinScheduler,一篇详细讲解DolphinScheduler的教程。DolphinScheduler 3.1.4详细教程共计分为四章:第一章 DolphinScheduler介绍第二章 DolphinScheduler系统架构第三章 DolphinScheduler安装部署,包含DolphinScheduler单机版快速安装部署和DolphinScheduler集群安装部署第四章 DolphinScheduler应用,包含工作流定义、任务、数据质量等

2023-05-06 11:11:22 10126 16

原创 超火的ChatGPT技术原理与我们关系

众所周知,最近,由美国人工智能公司OpenAI推出的大语言模型ChatGPT风靡全球,国内热度也持续高涨,IT界更是疯狂。伴随而来的是各种ChatGPT的声音,身边很多普通人的声音则是将ChatGPT看着是能与人类对话机器或者能替换很多语言相关工作者,当然包括咱们部分程序员哈。我想,他的出现,或许是人工智能发展历史的一个转折点。ChatGPT与IT关系,与Java、大数据、人工智能的相关关系呢?

2023-03-23 15:40:26 5250

原创 IDEA安装教程

IDEA是一款常用的Java、Scala和其它代码编辑器,是很多程序员必不可少的工具之一。本文主要介绍IDEA的下载、安装、配置和基于IDEA的Maven类型项目创建

2023-11-23 17:11:46 386

原创 day14 04-AWK和Sed工具初识

拓展awk和sed命令,旨在更加方便和快捷的编写shell脚本。

2023-11-15 09:29:35 123

原创 OpenVPN安装部署详解

基于阿里云Centos 7.9操作系统的OpenVPN的客户端和服务端安装配置详细步骤及相关问题解决。

2023-10-13 20:35:30 2762

原创 OpenVPN客户端安装测试

OpenVPN有很多客户端,本文采用windows系统的OpenVPN Connect 3.4.2 (64-bit) 客户端进行安装和测试。本文涵盖openvpn connect下载、安装、配置和测试等。

2023-10-10 11:21:42 5976 1

原创 最全Kettle详解

Kettle 是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration-Pentaho数据集成,Kettle 本意是水壶的意思,表达了数据流的含义。本文主要全面讲解Kettle,包含kettle的发展历程、kettle简介、kettle相关俗语、kettle系统架构(kettle设计与组成)、kettle的功能模块、kettle的执行流程、kettle商业版和社区版的区别、etl工具对比等内容,内容较多,具体参考正文。

2023-09-19 18:09:21 990

原创 Day14 03-Shell函数定义及应用

Shell函数代表着一个或一组命令的集合,表示一个功能模块,常用于模块化编程,通常能提升重复利用和简化复杂程序。Shell函数同样有无参函数、带参函数、无返回值函数和带返回值函数,具体参考正文的函数语法及应用。

2023-09-18 17:16:38 209

原创 day14 02-Shell控制条件与循环详解

和很多编程语言一样,Shell也有常用的if 、if...else... 、if...elif...else、for 、while等常用语法。只是它们的语法和别的一些编程语言稍微不一样,比如:if必须使用fi结束,而循环使用do ... done包裹循环逻辑等,具体的语法参考正文内容。

2023-09-18 16:38:24 73

原创 Day14 01-Shell脚本编程详解

Shell是命令解释器(command interpreter),是Unix操作系统的用户接口,程序从用户接口得到输入信息,shell将用户程序及其输入翻译成操作系统内核(kernel)能够识别的指令,并且操作系统内核执行完将返回的输出通过shell再呈现给用户。Shell也是一门编程语言,即Shell脚本。在此脚本中,我们可以使用一些编程语法来进行一些任务操作。 如:Shell变量、Shell类型、Shell数组和Shell编程规范等语法。 在Shell脚本里,必须指定一种shell命令行的解释器。

2023-08-18 19:05:23 286

原创 Day13 04-Linux的虚拟机克隆-scp命令-ssh免登录-crontab定时器及时间同步操作

Linux在多节点的情况下,可以有很多常用的操作,比如:经常会垮节点传输文件、数据等;经常会使用ssh进行远程连接并操作服务器;也经常使用其自带的crontab定时器来将某些任务进行定时触发等;同时多节点需要尽可能保障其时间同步,很多场景下,如果时间不同步,相关服务不能正常运行,大家对此也需要引起重视。没有多个服务器的情况下,本文采用linux的虚拟机克隆来进行模拟这样的多节点环境。

2023-08-14 18:36:44 464

原创 Day13 03-大家都会的4种Linux软件安装与管理

学大数据,linux平台的软件熟练安装是非常有必要的。大家都知道,Windows下安装软件时,只需用鼠标双击软件的安装程序,或者用Zip等解压缩软件解压缩即可安装;而在Linux下安装软件难度高于Windows的软件安装。下面我就详细讲解Linux下如何安装软件。1、二进制程序的安装(最简单安装) 2、rpm程序安装(后缀名为*.rpm) 3、基于yum源安装 4、源码编译安装。本文主要涵盖:linux软件安装介绍、优缺点、JDK、MySQL、Python3等安装,阿里云yum源替换,yum源制作等等。

2023-08-04 17:23:11 156

原创 Doris安装部署入门

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。

2023-07-30 00:44:40 3233

原创 Canal安装部署与测试

canal,译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份。本文主要包含Canal概述、Canal的安装部署和Canal与Kafka的集成测试及相关注意事项。一起动手实践吧!

2023-07-25 18:22:33 382

原创 Day13 02-Linux常用命令汇总

CentOS操作系统有非常的多的命令,我相信几乎没有任何人能把所有命令记住,所以常用命令非常重要,要熟悉,多用,多练,多总结等;同时,命令的帮助文档或者帮助命令的使用也非常重要。本文覆盖命令格式、帮助命令、文件处理命令、查看命令、find、grep、which、whereis、磁盘操作命令、打包压缩、解压缩命令、date命令、系统关机命令、linux快捷键命令、网络操作命令、进程管理命令、用户管理命令、文件权限命令、sudo权限配置等。

2023-07-18 15:04:06 132

原创 Day13 01-Linux介绍与安装教程

Linux是一种自由和开放源码的操作系统,存在着许多不同的Linux发行版本,但它们都使用了Linux内核。本文主要包含Linux的介绍、Linux的两大阵营、CentOS社区版本介绍、VMWare 和 Parallels Desktop安装、vmware、pd介绍、centos目录介绍、虚拟机网络链接方式、nat网络连接、桥接网络连接、仅主机网络连接、远程连接工具安装和应用等。

2023-07-18 14:45:48 302

原创 DataEase安装与教程,人人都会的大数据可视化与BI工具!!!

开源可视化:Metabase、redash、superset、d3js、grafana和dataease等商业可视化:finebi、powerbi、tableau、quickbi、datav、sugger、永洪等自研可视化:java web(python api) + h5 + echarts(highcharts)等DataEase 是开源的人人都会的数据可视化分析工具,帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化。本文覆盖DataEase介绍、docker安装、数据源、数据集和地图等

2023-07-07 18:18:05 6419 4

原创 Python之最 “全-新-深-细“ 教程!!!

本文详细、全面讲解最新python相关知识,适合于期望从事python编程和python大数据小伙伴。内容涵盖9章,66节,100余小节,9章节分别为:Python环境搭建、Python基础语法、Python流程控制、Python函数使用、Python数据容器、Python面向对象、Python系统模块、Python文件操作和Python操作数据库。具体细节内容包含:Python安装与解释器、PyCharm安装与使用、数据类型及转换、分支与循环、Python函数详解、匿名函数、装饰器、闭包、数据集合等等等。

2023-07-05 10:15:55 188

原创 Docker-Dockerfile-DockerCompose的那些事

Docker 最初是 dotCloud 公司创始人Solomon Hykes 在法国期间发起的一个公司内部项目。到了2013年,公司资金链断裂,不得不倒闭,于是将公司内的核心技术对外开源,核心技术就是Docker。本文详细讲解Docker、Docker file 和docker compose三方面内容,docker包含docker安装、仓库、镜像、容器、数据卷映射、操作;dockerfile包括定义、文件格式、内容和镜像制作命令等。docker compose主要是docker compose安装应用。

2023-07-03 10:35:32 1087

原创 Day12 Python操作MySQL详解

我们在使用到python进行一些业务操作的时候,经常性的要与数据库进行交互。可能要读取到数据库的表中的数据,也可能需要将一些数据写入到表中,完成数据库的数据更新的操作。此时就需要使用python与数据库进行交互了。python有着非常强大的库,为python丰富了各种各样的功能,其中就包括了对数据库的操作。Python操作数据库包含操作介绍、数据库 基本操作、SQL注入问题、事务支持、Python操作数据库模块、数据库操作封装等。

2023-07-03 10:11:38 234

原创 Day11 Python文件操作详解

os是OperateSystem的简称,即操作系统。使用os模块,可以实现对操作系统的文件系统进行简单的操作。os.path模块中包含的更多都是文件、文件夹属性获取的操作。本文包含Python文件操作相关内容,具体有:os模块、os.path模块、python读写写文、python拷贝文件、python with文件操作、python pickle库等内容。

2023-07-03 10:07:49 104

原创 Day10 Python系统模块

所谓的“模块”,其实就是指的py文件!模块之间是可以互相调用的!在Python中,模块分为三种:- 系统模块:Python环境安装完成之后自带的py文件或者包- 自定义模块:就是我们自己写的py文件- 第三方模块:其他人写好的,上传到 [pypi.org](https://pypi.org) 上面,可以下载下来使用的模块。本文覆盖内容丰富,包含Python的模块和包、可迭代类型、Python时间模块、数学模块、随机数模块、Python hashlib加密模块、base64模块和正则模块等。

2023-06-27 10:39:26 129

原创 Day09 Python面向对象和异常详解

在现实生活中,我们与父母之间存在着“继承”的关系。在Python中,也存在着“继承”的思想,来提高代码的复用性、代码的拓展性。程序中的继承,是类与类之间的特征和行为的一种赠予和获取的关系。一个类可以将自己的属性和行为赠予其他的类,一个类也可以从其他的类中获取到他们的属性和方法。本文章主要覆盖Python的面向对象基础、Python面向对象进阶和异常处理,具体包含:面向对象与面向过程、类与对象、类的设计与实例化、构造方法、魔术方法、类与类关系、封装、继承、重载、动态绑定、异常处理、异常语法和异常抛出等核心内

2023-06-26 17:34:49 204

原创 Day08 Python数据结构(数据容器)详解

Python中的数据结构:一种可以容纳多份数据的数据类型,容纳的每一份数据称之为1个元素,每一个元素,可以是任意类型的数据,如字符串、数字、布尔等。数据结构根据特点的不同如:是否支持重复元素、是否可以修改、是否有序等。数据结构分为5类分别是:字符串(str)、列表(list)、元组(tuple)、集合(set)、字典(dict)。本文包含:Python数据容器类型介绍、数据结构运算符、Python字符串str、字符串索引与切片、Python的列表list、元组tuple、集合set、字典dict等等。

2023-06-16 12:03:20 245 1

原创 Day07 Python函数详解

如果在开发Python程序时,需要某块代码多次,但是为了提高编写的效率以及代码的重用,所以把具有独立功能的代码块组织为一个小模块,这就是函数即函数是组织好的,可重复使用的,用来实现特定功能的代码段,就像使用过的`print()`是Python的内资函数【提前写好,可以重复使用,实现将内容输出到控制台的特定功能的代码段】。本文覆盖Python函数介绍、Python函数的定义与使用、Python函数参数、Python函数返回值、参数、函数嵌套调用、函数的递归、Python函数多返回值、匿名函数、装饰器和闭包。

2023-06-15 09:09:29 565

原创 Day06 Python入门必知必会

你懂的,Python世界上最好的编程语言!!!Python是一门高级编程语言,随着大数据、人工智能等学科兴起,Python编程语言逐渐获得市场青睐,也被各中小学和大学纳入授课范围。本课程非常详细讲解Python的基础、window安装python、mac安装python、ppycharm安装与使用、python解释器、python的基础语法、python注释、字面量、变量、python数据类型、数据类型转换、标识符与表达式、运算符、输入输出、python流程控制、match-case、for和while

2023-06-14 14:13:37 327

原创 Day05 05-MySQL实战练习及答案

大数据开发、数据仓库开发、数据分析师或者数据治理等大数据相关岗位,其实更多的时候都是在对SQL进行拿捏,所以建议大家有时间一定一定要把夯实SQL基础,下面的练习题及答案仅供大家参考,大家可以再去衍生想想,如何去查看SQL的执行计划?如何提升SQL查询性能?MySQL的实战练习主要目标是提升初学者对MySQL的语法、语感、手法和手感,增强大家对SQL语句的热爱度。题目及答案仅供参考,可以按照自己的合理的理解进行作答,建议大家有时间可以多练习其它更多的SQL场景。

2023-06-12 16:49:21 868

原创 Day05 04-MySQL分库分表介绍

MySQL数据库常见的优化方案中,有一种方案就是“分库分表”。那么什么叫“分库分表”呢?分库:将一个数据库拆分成若干数据库,其中的表分布到不同的数据库中。分表:将一个表拆分成若干的小表,其中的数据分布在多张表中。一个大的数据库可以拆分成为小个数据库,一个大的表也可以拆分成为若干个小的表。拆分之后得到的小的数据库、小的表中的数据量肯定会变少,这样就可以在一定程度上提升查询时候的效率。

2023-06-12 16:22:12 986

原创 Day05 03-MySQL主从-主主原理与搭建详解

在实际的生产环境中,数据量可能会非常庞大,这样单机服务的MySQL在使用的时候,性能会受到影响影响。并且单机服务的MySQL的数据安全性也会受到影响。因此在生产环境中,我们通常搭建MySQL的集群架构,来提高庞大数据量的基础上的高性能读写的需求。在常见的集群架构中,最常见的就是主从架构(Master-Slaves)MySQL的主从架构,又有一些其他的名称:主从复制、主主复制和集群等。本文详细讲解:MySQL集群架构介绍、主从原理、主从复制搭建、主主原理和主主搭建等。

2023-06-12 16:15:30 1766

原创 Day05 02-MySQL bin-log日志原理与实践详解

MySQL的bin-log日志,可以说是MySQL的日志中最重要的日志。其中记录的不仅仅是DML的操作,DDL的操作也会记录在其中。bin-log日志文件中记录的都是一些事件Event,其中第一个Event表示当前日志文件的起点和格式,最后一个Event表示下一个日志的起点和格式。其中,二进制日志中记录的是DML的操作,也就是增、删、改数据的日志信息,称为binary-log,也就是我们要说的bin-log日志。bin-log文件可用于MySQL主重或集群搭建,也可以用于MySQL数据实时同步等应用场景!

2023-06-12 15:58:19 991

原创 Day05 01-MySQL数据库索引详讲

MySQL索引是查询数据库性能提升法宝,如果对MySQL索引运用灵活到位,必将对你的查询会起到很好效果,本文就针对MySQL数据库索引进行详细讲解,内容覆盖索引介绍、索引优缺点、索引的创建规则、索引的分类、索引的测试和最左匹配等内容。

2023-06-12 15:47:13 1164

原创 Day04 04-MySQL的事务(TCL)

本文主要覆盖:MySQL的事务介绍、事务特性、事务和并发事务等内容。

2023-05-30 22:19:49 1131

原创 Day04 03-MySQL数据库的DCL(用户|权限|视图)

本文涉及MySQL的DCL语句,其主要用来做用户的创建、管理,权限的授予、撤销等操作的。创建、删除用户的操作,必须要使用root用户才可以完成!

2023-05-30 22:14:45 490

原创 Day04 02-数据库的备份与恢复

数据库手动复制、mysqldump命令进行备份和工具备份与恢复。

2023-05-30 22:11:14 52

原创 Day04 01-MySQL存储过程入门

MySQL从1.5版本开始支持存储过程(PROCEDURE)。存储过程将复杂的业务实现(增删改查、变量、数组、分支、循环、方法调用、事务提交、回滚等等)搬到数据库实现,作为大数据开发者,需要能了解存储过程,如果能掌握甚至可以写一些存储过程则更佳。本文覆盖存储过程定义、存储过程语法、存储过程变量、局部变量、用户变量、会话变量、全局变脸和参数等内容。

2023-05-26 11:07:00 913

原创 Day03 03-MySQL函数大全与详解

函数在编程中总是存在,存在于各种编程语言中,当然也包括SQL,作为一名当下或者未来优秀的SQL Boy,如果你不熟悉一些常用函数,严格来说,就不算优秀的SQL Boy了。所以,如果作为初学者,本章节很重要,因为后续的大数据很多数仓工具都提供类SQL,也任然有很多函数,但大致函数都很像,所以,前面的学好,后续的就信手拈来。本章节是MySQL中很重要的章节,全面覆盖高频的MySQL功能性函数、日期函数、字符串函数、数学函数、自定义函数、窗口函数和排名函数等。关于MySQL函数的具体细节,大家参考本文正式内容。

2023-05-25 12:15:56 860

原创 Day03 02-MySQL多表查询详解

MySQL的join连接查询、子查询和合并查询详细语法、应用、案例和性能等,轻松搞定join有的时候,我们的业务需求的数据并不只是在一张表中,而是分布在两张或两张以上的表中,而这些表中通常都会存在着“有关系”的字段。那么此时的查询操作,我们需要从多张表中查询数据,我们称之为多表关联查询。或者叫做连接查询。有的时候,当一个查询语句A所需要的数据,不是直观在表中体现,而是由另外一个查询语句B查询出来的结果,那么查询语句A就是主查询语句,查询语句B就是子查询语句。这种查询我们称之为高级关联查询,也叫做子查询。

2023-05-24 09:47:45 336

原创 Day03 01-MySQL数据完整性详解

我们已经知道了如何创建数据库、如何创建表、如何在表中进行数据的插入操作。但是在实际工作中,我们需要考虑插入到表中的数据是否是合乎逻辑的。因此,有时候我们需要在插入数据的时候,对数据进行校验,以保证插入表中的数据没有逻辑的错误。这就是数据的完整性。而为了保证数据的完整性,我们往往需要借助一些约束来实现。数据的完整性约束可以分为三类: 实体完整性、域完整性和引用完整性。MySQL数据完整性非常重要,它能保障MySQL库-表中的数据质量,会影响后续大数据的数据仓库等项目的实施,所以大家一定要看得懂(重视)。

2023-05-23 09:27:05 405

mongoDB X86 X64 及安装使用教程

mongoDB X86 X64 及安装使用教程 里面包含mongoDB的32位和64位软件 以及安装配置启动运行的基本教程文档 因安装软件都大于大小的限制 所以只在文档里面添加下载地址啦

2015-03-20

java 静态代码块通过类加载器获取资源文件例子

本案例是一个通过静态代码块获取资源属性文件的代码块,从而来提高应用性能。。

2015-02-10

java XJad反编译工具

本软件是一款用于将java里的.class文件还原为java文件的反编译工具,同时主要用于找不到第三方源码但又想研究其源代码逻辑时的反编译工具。。

2015-02-04

spring Spring MVC Hibernate 4.x 整合案例

spring 、 Spring MVC 、 Hibernate 4.x 整合案例 增删查改的封装,,里面是代码包括简单的框架搭建,只需下载后就可以允许,,正在对分页查询进行封装

2015-01-16

solr mmesg 案例

solr 4.3 + mmesg 1.9.1中文分词器的整合案例,并修复mmesg 1.9.1 的BUG,同时是使用多core

2015-01-15

mysql安装步骤

mysql的安装步骤及其需要注意的地方。

2014-02-24

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除