- 博客(172)
- 问答 (1)
- 收藏
- 关注
原创 docker:打包和别名
上周公司让做一个项目迁移,将项目迁移到docker中,其中涉及到了打包和别名,但是公司的内容不能拿出来了,所以用我自己的项目做一个记录。以上就是最近遇到的有关别名和打包遇到的问题。
2024-07-17 09:49:23
731
原创 Linux安装达梦
公司要求我将数据从oracle迁移到达梦数据库,这个国产数据库以前没用过,所以记录一下这次的安装过程。以上就是安装达梦的过程。
2024-07-05 15:34:24
1153
原创 docker安装mongodb
最近要重构一个曾经的小项目,大部分逻辑都没变,但准备使用mongo数据库进行数据存储,原因是获得的源数据存储就是JSON格式,直接用mongo存储可以少一步清洗过程,也可以顺便学习一下新技术。以上就是有关Mongo的基础内容,后边用到啥现学。
2024-06-16 16:12:06
842
原创 Oracle存储过程
这段时间实习,公司要使用存储过程,以前没接触过以为是啥高大上的技术,后来学习了一下,其实就是将一堆SQL命令打个包,下一次遇到类似的情况直接运行整个包也就是存储过程,然后就可以达到同样的效果。存储过程还可以和编程代码一样写比较复杂的逻辑,但是由于我最近并没有用到,所以咱是就记录这么多,以后用到了再补。
2024-06-05 16:17:52
1624
原创 Oracle的安装以及一些相关问题
一段时间没更新,主要最近一直在找工作,最终还是顺着春招找到工作了,现在已经入职一周了,以后可能会开个专栏记录一些工作中的bug。因为公司使用oracle数据库,所以这周搞了不少oracle的东西,现在记录一下。这次就写到这,我以往是按照章节来写博客,以后可能会相对更新多一些但更杂一些,看具体情况吧。
2024-05-22 17:06:22
466
原创 第二章:K8s组件
上一次我们完成了k8s学习环境的安装,这次我们记录一些常用的k8s组件和常用的命令常见的k8s使用基本就这些,为了更快的学习一门技术,我没有搭建完整的k8s集群,一些服务我也只做了最基础的配置,比较适合一项技术的入门。
2024-04-02 14:09:04
791
原创 第一章:K8s环境安装
之前学完了Docker,然后一直想学习一下k8s,但苦于没有找到合适的教程,也是最近找的一篇快速入门的教程,快速的过了一遍。主要还是想横向拓宽一下自己的技能书,现在不流行技术深造了,流行牛马工作,一个人要干多个人的活。这是官方的原话。然后放一下机翻。简单来说,是一个跨平台的软件,可以在一个单节点上快速搭建一个k8s集群,一般用作学习阶段。基础的k8s环境就创建完成了,为了快速入门,我没有创建完全的k8s集群,所以以上内容,只能用于练习ks8,生产环境的安装和部署,不能这样操作。
2024-03-30 11:21:17
988
原创 幻兽帕鲁Linux服务器安装Mod
幻兽帕鲁这游戏确实不错,所以也涌现了一批批优秀的Mod,但是联机游戏要使用Mod就需要在服务器端也安装Mod,但我搜刮了网上大量的教程基本没有是在Linux服务器下安装Mod的,具体原因一会说,所以我来做第一个吧。有些功能性的Mod本地安装就可以使用,有一些服务器安装才可以使用,有一部分则需要服务器和客户端都安装才可以使用,所以我建议,双端都安装,这样就肯定没问题了。
2024-03-23 16:03:20
1257
原创 幻兽帕鲁游戏搭建(docker)
这段时间一直在写论文还有找工作,也没学啥新技术,所以博客也很长时间没写了,但开年有个游戏爆火,所以我也弄来玩了玩,由于可以搭建私人服务器,所以我趁着过年很多云服务器厂商打折买了个8H16G的云服务器,搭建个私服玩玩,没想到运维个游戏服务器也确实很锻炼人,搭建过程中也遇到了很多问题,所以今天从头记录一下。注意本博客适合有运维基础的人学习,没有的就别看了。
2024-03-19 16:49:56
3549
原创 docker:Haoop集群
年前学习了docker的相关知识,过年休息了多半月,现在开始继续学习,这次要完成我之前多次做实验的一个设想,就是用docker进行Hadoop集群部署,真正的完成一次构建,导出运行。至此集群的基本框架搭建完毕,可以更加自己的需要选择保存镜像或者上传仓库。
2024-02-22 21:51:33
1231
原创 docker:Web迁移
上一次博客完成了环境的安装,这次就把在服务器的所有项目,在docker中进行重构,方便以后的迁移,我把我的Web项目按端口进行了拆分,所以一共需要三个容器,分别是使用80端口的Web+wordpress和使用5001端口的Flask项目,以及提供数据的Mariadb。开始之前先用sudo -i进行提权。apt update然后用ip测试一下。docker容器化技术就到这里,以后有需要补充的再说。
2024-01-21 18:14:27
1111
原创 docker:环境安装
docker:环境安装因为CentOS7确定停服时间为6月30日,虽然对我这种小虾米没啥影响,但还是考虑一下新服务器系统的选择,最后综合考虑了以下,选择了Debian系最新的Debian12.4,还能维护好几年,再加上我自用deepin为主操作系统,对apt命令也比较熟悉,所以选择Debian12,选定服务器之后,就要对项目进行迁移,我服务器里部署了3个不同的网站项目,分别运用了Apache,Falsk,PHP,Centos7很多包都比较旧,还要自己编译运行,维护起来也是老麻烦了,让他们能运行在同一个服务器
2024-01-17 19:13:59
1561
原创 物流实时数仓:数仓搭建(DWS)二
上一次的博客中,我们编写了很多第三方的工具类,所以剩下的内容搭建会简单一些。至此实时数仓的DWS层就搭建完毕了,并且代码已经全度推到了github上。
2024-01-05 15:20:37
1091
原创 物流实时数仓:数仓搭建(DWS)一
这次博客,我们进行各机构分拣次数的统计。统计当日各机构的分拣次数,并补充城市、省份等维度信息,写入ClickHouse对应表。要求每十秒钟更新一次统计结果。大体流程如图。以上就是这次博客要更改或创建的java文件。至此,Dws的部分搭建就结束了,为了方便进行文件管理,我把项目开源到了github上。项目地址:https://github.com/lcc-666/tms-parent。
2024-01-03 16:50:00
1157
原创 物流实时数仓:数仓搭建(DWD)二
这次博客我们完成剩下的DWD层的建设由流程图可知,我们还需要编写两个Flink程序提示:以下是本篇文章正文内容,下面案例可供参考至此数仓Dwd层搭建完成。
2023-12-18 09:09:59
190
原创 物流实时数仓:数仓搭建(DWD)一
这次博客我们进行DWD层的搭建,内容比较多,一次可能写不完。以上就是本次博客需要完成的内容,简单来说就是,从kafka读取数据,然后根据不同的关键字,将其从主流中进行分离,然后在写入各自的kafka中以便后续的操作至此这篇博客的内容结束。
2023-12-14 10:02:33
589
原创 物流实时数仓:数仓搭建(DIM)
这次博客记录一下有关数仓的DIM层建设,不知道一次能不能完成这时目前的大概流程。红框中就是我们要完成的DIM操作。我们需要从Kafka中读取数据,和配置表信息进行比较和处理进而传递到下游写入hbase。至此DIM层的搭建已经完成。
2023-12-05 10:39:45
323
4
原创 物流实时数仓:数仓搭建(ODS)
现在我们开始进行数仓的搭建,我们用Kafka来代替数仓的ods层。基本流程为使用Flink从MySQL读取数据然后写入Kafka中至此ODS搭建完成。
2023-11-24 11:45:37
914
原创 物流实时数仓:采集通道搭建
之前学校安排了实训,所以有一堆事情要处理。现在基本算是搞完了,继续进行学习的提升,这次进行的是实时数仓的学习,可以算是大数据学习的最后阶段了。以下是实时数仓的框架图。至此,物流实时数仓采集通道搭建完成。
2023-11-20 10:23:48
480
原创 Hudi第四章:集成Hive
本来关于Flink还有一些内容,但剩下的我了解过之后,觉得并不是很常用,而且 比较杂,所以还是决定需要的时候再学习吧。hudi的内容暂时就到这里,学习的过程中觉得hudi的技术还不是很成熟,很多地方的依赖需要自己修改,所以这次就不再进行太深层次的学习了。
2023-10-17 11:10:17
490
原创 Hudi第三章:集成Flink
之前的两次博客学习了hudi和spark的集成,现在我们来学习hudi和flink的集成。flink第一次就先写到这里剩下的还要在写一次。
2023-10-09 16:50:17
406
原创 Hudi第二章:集成Spark(二)
这次我们将hudi集成Spark补充完整。课程后边其实还有一些调优的内容,想了想还是没有写下了,用的时候再说吧。
2023-10-01 15:02:13
740
原创 Hudi第二章:集成Spark
Hudi可以使用Spark作为搜索引擎。我们写博客记录一下,不知道一次能不能写完。这一次就写到这里,东西比较多,关于Spark的东西还要在写一次。
2023-09-30 15:08:47
999
原创 Hudi第一章:编译安装
Apache Hudi(发音为“连帽衫”)是下一代流数据湖平台。Apache Hudi 将核心仓库和数据库功能直接引入数据湖。Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据聚类/压缩优化、 和并发性,同时将数据保留为开源文件格式。Apache Hudi 不仅非常适合流式处理工作负载,而且还允许您创建高效的增量批处理管道。
2023-09-24 19:01:51
796
原创 线上问诊:数仓开发(一)
上次我们已经将MYSQL的数据传送到了HDFS,但是HDFS的数据没法直接进行查看和修改。这次我们将其转入hive仓库,并进行下一步的处理。数仓开发的代码太多了,还是分两次记录吧。
2023-09-01 00:52:58
866
原创 Hive3第六章:更换引擎
这个博客主要是作为数仓项目的一次补充,主要是更换hive引擎,传统的MR引擎在hive2之后就不推荐了,我们这次更换spark引擎,使用hive on yarn。hive更换引擎是数仓学习中很通用的,所以这里单拎出来简单说一下。
2023-08-29 23:51:32
628
原创 线上问诊:业务数据采集
暑假躺了两个月,也没咋写博客,准备在开学前再做个项目找找感觉,由于之前做过广告数仓的案例,这次的博客会相对简略一些,数仓包括离线和实时两个部分,离线用来加深记忆,实时用来学习新技术。这里抓一次快照,后边实时数仓还要基于这里再次开发。
2023-08-23 16:11:32
1617
5
原创 Centos7:Flask-Apache部署
之前写过几个Flask网页来完成一些操作,一直使用的都是Screen+uwsgi所以在并发上边支持的不太好(反正就我自己用),但最近完成的一个项目,对并发要求稍微高一点,前几天也在升级软件,就顺便把Flask的安装部署也记录一下。至此Flask-Apache的部署完成。
2023-07-21 17:55:48
679
原创 Centos7:http/PhP升级
这篇文章记录一下,我维护我自己的服务器是遇到的一些问题。因为我用的是Centos7所以分类归入RHCE中Centos7的系统非常成熟稳定,但也导致一些源头里面带的包版本比较旧,所以这几天给我的LAMP框架进行了升级,主要还是Apache和PHP的升级,全部遵循官方教程(好多博客文章都是相互炒),为了使用最新版软件,全程编译安装,最终目的迁移我得WordPress博客。至此LAMP的框架升级完成。
2023-07-20 18:28:57
573
原创 广告数仓:全流程调度
这次我们为广告仓库进行一些收尾工作,主要是最终的数据导出和全流程调度以及数据的可视化,不知道一次能不能写完名称随意ods_to_dimods_to_dwd最后全局保存的时候定义全局变量全流程调度就到这里吧,可视化还要再来一次。
2023-06-23 20:17:17
898
原创 Flink第九章:Flink CEP
这次是Flink的最后一次内容,终于还是在放假前啃完了.FlinkCEP是在Flink上层实现的复杂事件处理库。它可以让你在无限事件流中检测出特定的事件模型,有机会掌握数据中重要的那部分。这是官方的介绍,看看就行了.先引入需要的依赖最后的CEP有点抽象,我也没完全理解,有机会在巩固巩固吧.
2023-06-04 10:53:07
791
进阶爬虫应该怎么学,怎么去实践
2021-07-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人