- 博客(176)
- 资源 (56)
- 收藏
- 关注
RSS订阅原创 《Oracle系列》Oracle常见问题处理记录
Oracle设置密码永不过期，Oracle表锁问题处理，Oracle创建Schema、用户名及表空间，Oracle查看命名空间
2022-12-06 20:51:47
4478
原创 《实战应用-网站相关》Halo快速搭建个人博客网站
目前测试了两种方法安装Halo，第一种是使用Jar包安装:提供JAR包资源，不过因为使用jar包部署需要Java11才可以，我本机使用的是Java8，所以暂时不做调整。第二种是通过docker安装。1.2 云服务打开8090端口 Halo默认是8090端口，使用docker启动后，可通过IP:8090端口打开后台页面进行配置。 如果之前已经部署过Halo博客，可以通过这里导入原数据。 后台管理页面如果没有特殊配置的话，后续可以通过登录 Halo初始化后，就可以登录进来Halo后台管理页面，通
2022-12-04 15:11:43
1935
原创 《MySQL系列-InnoDB引擎07》InnoDB关键特性-插入缓存
因为启用Insert Buffer索引后，辅助索引页(space,page_no)中的记录可能被插入到Insert Buffer B+树中，所以为了保证每次Merge Insert Buffer页必须成功，还需要有一个特殊的页来标记每个辅助索引页(space,page_no)的可用空间。在进行插入操作时，数据页的存放还是按主键a进行顺序存放的，但是对于非聚集索引叶子节点的插入不再是顺序的了，这时就需要离散的访问非聚集索引页，由于随机读取的存在而导致了插入操作性能下降。同时页中的行记录按a的值进行顺序存放。
2022-12-02 19:45:36
631
原创 《GreenPlum系列》GreenPlum常见问题处理
1.GreenPlum执行命令，抛出异常Reason='Environment Variable MASTER_DATA_DIRECTORY not set!'2.GreenPlum执行命令，抛出异常：File "./gpstart", line 12, in < module> from gppylib.mainUtils import *3.GreenPlum数据库Standby故障处理4.GreenPlum安装遇见免密错误5.GreenPlum/PostGreSQL表锁处理
2022-11-27 14:21:00
1995
原创 《Linux系列》Linux日常运维
1.Linux根据时间批量删除文件2.buff/cache占用太多内存，如何释放内存？3.修改Linux系统时间4.Linux进程显示 -- process information unavailable5.linux系统之您在 /var/spool/mail/root 中有新邮件
2022-11-27 12:28:23
13196
原创 《数据同步-NIFI系列》GetFTP功能介绍，FTP服务器数据采集
1.GetFTP功能介绍2.Nifi同步并解析FTP服务器Excel文件，并存储到数据库
2022-11-14 15:04:52
1795
原创 《数据同步-NIFI系列》GetFTP功能介绍
为true，也就是每次同步成功后，都会把FTP服务器上的源数据删除。如果Nifi部署的分布式集群的话，建议使用Primary node模式，否则每个节点都会从FTP服务器读取一次文件，造成数据重复。使用GetFTP Processor去FTP服务器中同步文件，通过修改GetFTP配置项，实现不同的功能。通过简单修改调度项，以及配置FTP服务器的基础信息后，就已经可以成功同步到数据文件。设置非递归搜索时，只能获取到根目录下的文件，而不能检索根目录文件里的其他文件。为true时，同步成功后，删除源数据文件;
2022-11-14 12:40:45
887
8
原创 《工具箱-FTP服务器》FTP服务器详细入门教程
FTP协议：文件传输协议(file transfer protocol)，在不同的机器之间实现文件传输功能。FTP服务：实现ftp的一个服务，安装vsftpd软件即可搭建ftp服务器。应该都比较了解了，当使用daemon启动的时候，不在控制台显示，可以通过。可以通过QQ浏览器打开，用户名和密码是ftp的用户名和密码。说明vsftpd是一个非常安全的后台守护进程。输入密码后，即可查看该ftp服务器下的文件。2.3.2 查看vsftpd服务状态。2.4 查看vsftpd启动进程。三、 启动vsftpd。
2022-11-09 19:25:40
3217
原创 《Docker系列》Docker安装、运维教程
1.Docker及可视化部署2.Error response from daemon: driver failed... Error: failed to start containers...3.Docker容器修改配置文件后，重启失败，如何修改配置并启动容器？
2022-10-18 22:02:52
4388
原创 《工具箱-Git》IDEA创建版本库并上传到Gitee
1.Gitee创建版本库，设置仓库名称以及路径，不需要初始化，直接创建即可。9.IDEA代码提交后，刷新Gitee，代码已提交成功。8.将第二步中的地址添加到此处，创建分支。IDEA创建版本库并上传到Gitee。，Add之后，相应的文件会变成绿色。3.IDEA打开本地项目，然后在。，将本地项目推送到Gitee。4.选择项目文件，添加即可。2.直接复制路径，不需要。
2022-10-10 21:30:29
710
原创 《工具箱-MobaXterm》MobaXterm实用功能记录
1.MobaXterm连接服务器，保存有服务器的密码，任何使用该电脑的人都可以通过MobaXterm连接服务器，为了服务器的安全，设置软件登录主密码。4.提示输入设置的主密码，这里的主密码是最初使用Moba的时候设置，如果忘记可以从最早的地址密码测试。5.修改主密码，设置最新的密码，并设置为。2.MobaXterm密码管理。MobaXterm主密码设置。MobaXterm主密码设置。Moba连接FTP服务器，EElFTPSUnacceptedReplyError(error code is 550)已解决
2022-10-10 20:19:01
14162
原创 《数据同步-NIFI系列》Nifi详细教程入门-04Nifi单节点、集群部署以及迁移
零主集群即每个节点都可以作为主节点执行任务，节点通过Zookeeper协调，首先Zookeeper会选择一个节点作为集群协调器，然后集群中所有节点都会像该节点发送心跳。如果集群协调器确定允许该节点加入，则将当前流提供给该节点，当节点的流配置版本与集群协调器的版本相同，则该节点可以加入集群，否则不能加入。：集群协调器是Nifi集群中的一个节点，由Zookeeper选举出，负责管理集群中允许执行任务的节点，并为新加入的节点提供最新的数据流量。当选择卸载节点后，该节点的流文件会重新平衡到活动中的其他节点。
2022-09-30 19:08:04
4847
原创 《数据同步-NIFI系列》NiFi同步中文表、中文字段名
整体流程使用七个组件,第一步通过ExecutSQL组件truncate目标表，第二步使用ExecuteSQLRecord组件查询源表数据( AvroRecordSetWriter写数据),第三步使用ConvertAvroToJSON组件将Avro数据转成JSON类型数据，第四步使用SplitJson将整个JSON切分成一条一条的JSON数据，第五步使用EvaluateJsonPath解析中文表的字段并将其映射为英文名，第六步使用ReplaceText获取上一步的参数并写成SQL语句。配置数据库连接密码。
2022-09-27 21:16:26
1342
2
原创 《数据同步-NIFI系列》Nifi详细教程入门-03处理器
根据元素的数量或FlowFiles内容的总大小(每个bin的最小和最大大小是用户指定的)并且还可以配置可选的Timeout属性,即FlowFiles等待其bin变为配置的上限值最大时间。ListHDFS / FetchHDFS：ListHDFS监视HDFS中用户指定的目录,并发出一个FlowFile,其中包含它遇到的每个文件的文件名。然后可以在集群中,将其发送到FetchHDFS处理器,后者获取这些文件的实际内容并发出包含从HDFS获取的内容的FlowFiles。这里主要是入门操作，看的多了反而觉得杂乱。
2022-09-15 18:50:24
1705
原创 《数据同步-NIFI系列》Nifi详细教程入门-02部署与入门
第四个是process group，相当于系统中的文件夹，可以在组中嵌套组，合理的规划，可以使得整体页面简洁、可读性高。在操作区选择上传模板，通过搜索本地模板的xml文件，UPLOAD即可，后续就跟正常的使用模板一样的操作。第七个是template，通过创建模板，可以在这里使用历史创建的模板，便捷的处理相同场景的问题。: 模板创建好后，通过拖动导航栏的template，可以选择历史创建的模板，ADD即可。稍后会做专门的介绍。2.下载需要的模板到本地，下载为xml文件，也可以将xml文件提供给他人使用。
2022-09-15 18:27:34
2073
2
原创 《数据同步-NIFI系列》Nifi详细教程入门-01概念
Nifi的设计是可集群、可横向扩展的。数据流的处理逻辑和过程可能非常复杂，而通过可视化的流程可以很大的帮助用户降低复杂度，并且可以较为明确的了解哪个地方需要简化。进程组里是一组特定的流程和连接，可以通过输入端口接收数据并通过输出端口发送数据，这样我们在进程组里简单的组合组件，就可以得到一个全新功能的组件(Process Group)。Nifi支持缓冲所有排队的数据，以及在这些队列达到指定限制的时候提供背压能力(背压对象阈值和背压数据大小阈值)，或在数据达到指定期限(其值已经失效)时丢弃数据的能力。
2022-09-14 19:13:07
4489
原创 《任务调度-DolphinScheduler》DolphinScheduler1.3 元数据文档
DolphinScheduler 1.3元数据文档。
2022-09-03 16:09:38
2527
原创 《任务调度-DolphinScheduler》DolphinScheduler实例表备份、清理
通过` select data into outfile file.txt、load data infile file.txt into table `的方式备份表中全部数据，为什么采用这种备份方案呢？因为我这里只想要备份`t_ds_process_instance`和`t_ds_task_instance`两张表，表数据量达到百万级别，通过文件导入导出的备份效率比较高，用于备份全量数据。
2022-09-03 15:50:07
1936
原创 《MySQL系列-部署维护》通过表的.frm和.idb文件备份MySQL表
MySQL备份表(.frm,.idb文件)MySQL备份表(.frm,.idb文件)😋目的: 利用表的.frm和.idb文件备份MySQL表。
2022-08-30 16:06:52
970
原创 《MySQL系列-开发相关》MySQL开发规范小节
设计字段的适合，选的的数据类型够用就行比如:字段ID用来存储事件ID的时候，设计系统中ID最长为30，那么就不需要字段类型设置为varchar(255)，尽可能设计一个宅表，而不是宽表。设计Unix时间戳的时候，使用无符号的整性(int unsigned)设计IP地址的时候，使用无符号整性(int unsigned)，inet_aotn()和inet_ntoa()函数进行转换实现，而不用chat或varchar。
2022-08-29 22:33:53
187
原创 《MySQL系列-开发相关》MySQL正则表达式匹配查询
在过滤的时候允许使用匹配、比较和通配符寻找数据。对于基本的过滤，这些可能就足够了。但是随着过滤条件复杂性的增加，where子句本身的复杂性也有必要增加。 这里简单介绍一下使用正则表达式匹配搜索。所有种类的程序设计语言、文本编辑器、操作系统都支持正则表达式。很多程序员都将正则表达式作为自己必备的技能。熟练使用正则表达式，可以帮助我们减少很多的麻烦。 正则表达式用正则表达式语言来建立，正则表达式语言是用来完成过滤、匹配类工作的一种特殊语言。与其他语言一样，它用于自己的特殊的语法和指令。
2022-07-13 21:14:40
2677
1
原创 《实战应用-堡垒机》Linux部署JumpServer堡垒机
堡垒机，即为在特定的网络环境下，针对主机、数据库、网络设备等运维权限、运维行为进行管理和审计的工具。从而保障网络和数据不受外部和内部用户的入侵和破坏，避免主机账号服用、数据泄露、运维权限混乱、运维过程不透明等。而通过堡垒机可以对运维行为进行阻断和控制，所有运维、开发人员对服务器的登录、命令、文件传输等都必须是合法，否则就会被阻断。 1.运维人员在运维端连接堡垒机，向堡垒机发送请求 2.堡垒机向目标端发送请求，并将结果返回给运维端...
2022-06-22 20:25:11
1780
2
原创 《GreenPlum系列》GreenPlum实用功能记录
1.使用JDBC连接GreenPlum数据库2.GreenPlum数据库及语法-时间函数实用3.GreenPlum添加Column信息，以及获取Column信息4.通过"表磁盘存储文件"获取表最后"更新时间"5.创建函数返回数据集
2022-06-13 14:01:19
1665
原创 《Redis系列》Redis详细教程入门
开源，基于C语言开发，基于BSD协议（只要基于这个协议的都可以修改源码）的KV的Nosql的分布式数据库。 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如字符串（strings）散列（hashes）列表（lists）集合（sets）有序集合（sorted sets）与范围查询，bitmaps和地理空间（geospatial）索引半径查询。
2022-06-12 22:24:19
558
1
原创 《MySQL系列-主从相关》MySQL从库部署触发器
MySQL从库部署触发器通过MySQL主从同步后，通过insert\update\delete触发从库表的触发器，并将操作记录到指定表中
2022-06-02 16:44:50
473
14
原创 《GreenPlum/Postgres系列》PostGreSQL语法及高级功能
PostGreSQL运维及功能使用1 createdb## 首先查看helproot@dd50f020b9f4:/# createdb --helpcreatedb creates a PostgreSQL database.Usage: createdb [OPTION]... [DBNAME] [DESCRIPTION]Options:## 指定表空间 -D, --tablespace=TABLESPACE default tablespace for the databas
2022-05-23 14:38:54
1281
原创 《工具箱-内网穿透》FRP内网穿透(实现外网访问内网服务)
当出现新的需求，需要通过外网访问内网中的服务的时候,可以通过内网穿透，通过内网指定的端口与外网IP端口转换，达到通过外网IP直接访问内网服务的效果。内网服务器有自己的内部IP，但是通过外网无法访问，所以就需要内网穿透，将外网IP转换为内部合法的IP来进行合法访问。模拟场景：使用虚拟机安装Centos系统模拟内网服务器，外网服务器是正常使用云服务器。3.用户通过公网服务器通过内网穿透来访问内网服务器。通过外网服务器的端口访问内网服务器的端口服务。通过外网服务器的公网IP访问内网服务器。
2022-05-23 00:11:26
4086
原创 《Python系列》Python实战记录
1.Python学生信息管理系统2.Python实现pdf合并功能，并打包生成应用[无Python环境下使用]3.Python Connect to MySQL
2022-05-22 17:50:56
2974
原创 《Python系列》Python详细入门教程
总结"""共有列表、字典、元组、集合列表 []字典 {key:value}元组 ()集合 {}其中：列表、字典、集合都是可变的，元组不可变列表、元组可以有重复，集合不可以重复，字典的key不可以重复，value可以重复列表、元组是有序的，字典、集合是无序的"""# 1.元组"""创建元组：使用小括号()创建使用内置函数tuple()创建元组遍历：for ... in不可变序列"""# 2.集合"""创建集合使用花括号{}内置函数set()集合生成式。
2022-05-22 17:37:28
5784
6
原创 《MySQL系列-主从相关》MySQL主从同步问题记录
1.MySQL主从同步Slave_SQL_Running错误2.MySQL从库Error:"You cannot 'Alter' a log table..."3.MySQL从库Slave_IO_Running异常，Last_IO_Error: Got fatal error 1236 from master when reading data from binary log
2022-05-14 14:59:32
2182
原创 《Java系列》后端应用开发记录
单词边界,具体就是\w和\W之间的位置，也包括\w和^之间的位置，也包括\w和$之间位置。字符匹配任何单个字符，只能出现在方括号外，不能匹配换行符(\n)可以匹配到123-4567890，1234-5678901。在[]内代表取反，在[]外代表字符串开始。表示重复区间，非贪婪模式优先匹配m,例如。可选字符，正则表达式期望出现零次或一次。等价于{1,} 即1到无数个。等价于{0,} 即0到无数个。可以匹配123456789。空格 table 换行。n表示重复次数,例如。贪婪模式，优先匹配n。
2022-05-10 19:56:35
3881
原创 SpringBoot提供接口实现Excel导入数据并存储到数据库中
SpringBoot提供接口实现Excel导入数据并存储到数据库中1 效果展示1.1 Excel数据zxy.xlsx1.2 导入后数据库中数据CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键', `name` varchar(255) DEFAULT NULL COMMENT '姓名', `phone` varchar(255) DEFAULT NULL COMMENT '联系方式', `
2022-04-27 17:07:06
6491
4
SQLServer数据库驱动Jar文件
2023-07-31
JeecgBoot(ant-design-vue)实现筛选框：支持下拉搜索+下拉多选+表字典(支持条件查询)功能
2023-07-30
TailForWindows应用Windows端动态监控日志生成
2022-06-26
instantclient_10_2和instantclient_11_2
2022-06-07
Python3.8.7安装包(已测试打包应用后无Python环境可用)
2022-05-26
Python开发PDF合并应用
2022-05-25
frp内网穿透服务端和客户端安装包
2022-05-23
Python学生信息管理系统
2022-05-22
SpringBoot开发接口实现excel导入数据并存储在数据库中
2022-04-27
Ajax+nodemon+axios等初步了解
2022-04-17
Prometheus+Grafana+node_exporter安装包
2022-04-14
HTML+CSS+JS实现Echart大屏展示
2022-04-11
Linux服务器部署SmartChart低代码平台项目文件
2022-04-01
python + django + echarts做报表展示 https://blog.csdn.net/m0_51197424
2022-03-29
echarts.min.js文件 jquery-2.2.4.js文件 python-3.7.0-amd64.exe安装文件
2022-03-29
greenplum-cc-web-6.6.1安装监控Web监控页面
2022-03-26
zookeeper.zip
2022-01-12
SpringBoot使用，实现Servelt和html交互，实现表单查询(查询表中所有数据并输出)
2021-08-17
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse
2021-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人