- 博客(168)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Oracle的安装以及一些相关问题
一段时间没更新，主要最近一直在找工作，最终还是顺着春招找到工作了，现在已经入职一周了，以后可能会开个专栏记录一些工作中的bug。因为公司使用oracle数据库，所以这周搞了不少oracle的东西，现在记录一下。这次就写到这，我以往是按照章节来写博客，以后可能会相对更新多一些但更杂一些，看具体情况吧。
2024-05-22 17:06:22
231
原创 第二章：K8s组件
上一次我们完成了k8s学习环境的安装，这次我们记录一些常用的k8s组件和常用的命令常见的k8s使用基本就这些，为了更快的学习一门技术，我没有搭建完整的k8s集群，一些服务我也只做了最基础的配置，比较适合一项技术的入门。
2024-04-02 14:09:04
714
原创 第一章：K8s环境安装
之前学完了Docker，然后一直想学习一下k8s，但苦于没有找到合适的教程，也是最近找的一篇快速入门的教程，快速的过了一遍。主要还是想横向拓宽一下自己的技能书，现在不流行技术深造了，流行牛马工作，一个人要干多个人的活。这是官方的原话。然后放一下机翻。简单来说，是一个跨平台的软件，可以在一个单节点上快速搭建一个k8s集群，一般用作学习阶段。基础的k8s环境就创建完成了，为了快速入门，我没有创建完全的k8s集群，所以以上内容，只能用于练习ks8，生产环境的安装和部署，不能这样操作。
2024-03-30 11:21:17
937
原创 幻兽帕鲁Linux服务器安装Mod
幻兽帕鲁这游戏确实不错，所以也涌现了一批批优秀的Mod，但是联机游戏要使用Mod就需要在服务器端也安装Mod，但我搜刮了网上大量的教程基本没有是在Linux服务器下安装Mod的，具体原因一会说，所以我来做第一个吧。有些功能性的Mod本地安装就可以使用，有一些服务器安装才可以使用，有一部分则需要服务器和客户端都安装才可以使用，所以我建议，双端都安装，这样就肯定没问题了。
2024-03-23 16:03:20
843
原创 幻兽帕鲁游戏搭建（docker）
这段时间一直在写论文还有找工作，也没学啥新技术，所以博客也很长时间没写了，但开年有个游戏爆火，所以我也弄来玩了玩，由于可以搭建私人服务器，所以我趁着过年很多云服务器厂商打折买了个8H16G的云服务器，搭建个私服玩玩，没想到运维个游戏服务器也确实很锻炼人，搭建过程中也遇到了很多问题，所以今天从头记录一下。注意本博客适合有运维基础的人学习，没有的就别看了。
2024-03-19 16:49:56
3149
原创 docker：Haoop集群
年前学习了docker的相关知识，过年休息了多半月，现在开始继续学习，这次要完成我之前多次做实验的一个设想，就是用docker进行Hadoop集群部署，真正的完成一次构建，导出运行。至此集群的基本框架搭建完毕，可以更加自己的需要选择保存镜像或者上传仓库。
2024-02-22 21:51:33
1200
原创 docker:Web迁移
上一次博客完成了环境的安装，这次就把在服务器的所有项目，在docker中进行重构，方便以后的迁移，我把我的Web项目按端口进行了拆分，所以一共需要三个容器，分别是使用80端口的Web+wordpress和使用5001端口的Flask项目，以及提供数据的Mariadb。开始之前先用sudo -i进行提权。apt update然后用ip测试一下。docker容器化技术就到这里，以后有需要补充的再说。
2024-01-21 18:14:27
1075
原创 docker：环境安装
docker：环境安装因为CentOS7确定停服时间为6月30日，虽然对我这种小虾米没啥影响，但还是考虑一下新服务器系统的选择，最后综合考虑了以下，选择了Debian系最新的Debian12.4，还能维护好几年，再加上我自用deepin为主操作系统，对apt命令也比较熟悉，所以选择Debian12，选定服务器之后，就要对项目进行迁移，我服务器里部署了3个不同的网站项目，分别运用了Apache，Falsk，PHP，Centos7很多包都比较旧，还要自己编译运行，维护起来也是老麻烦了，让他们能运行在同一个服务器
2024-01-17 19:13:59
1181
原创 物流实时数仓：数仓搭建（DWS）二
上一次的博客中，我们编写了很多第三方的工具类，所以剩下的内容搭建会简单一些。至此实时数仓的DWS层就搭建完毕了，并且代码已经全度推到了github上。
2024-01-05 15:20:37
1041
原创 物流实时数仓：数仓搭建（DWS）一
这次博客，我们进行各机构分拣次数的统计。统计当日各机构的分拣次数，并补充城市、省份等维度信息，写入ClickHouse对应表。要求每十秒钟更新一次统计结果。大体流程如图。以上就是这次博客要更改或创建的java文件。至此，Dws的部分搭建就结束了，为了方便进行文件管理，我把项目开源到了github上。项目地址：https://github.com/lcc-666/tms-parent。
2024-01-03 16:50:00
1088
原创 物流实时数仓：数仓搭建（DWD）二
这次博客我们完成剩下的DWD层的建设由流程图可知，我们还需要编写两个Flink程序提示：以下是本篇文章正文内容，下面案例可供参考至此数仓Dwd层搭建完成。
2023-12-18 09:09:59
144
原创 物流实时数仓：数仓搭建（DWD）一
这次博客我们进行DWD层的搭建，内容比较多，一次可能写不完。以上就是本次博客需要完成的内容，简单来说就是，从kafka读取数据，然后根据不同的关键字，将其从主流中进行分离，然后在写入各自的kafka中以便后续的操作至此这篇博客的内容结束。
2023-12-14 10:02:33
554
原创 物流实时数仓：数仓搭建（DIM）
这次博客记录一下有关数仓的DIM层建设，不知道一次能不能完成这时目前的大概流程。红框中就是我们要完成的DIM操作。我们需要从Kafka中读取数据，和配置表信息进行比较和处理进而传递到下游写入hbase。至此DIM层的搭建已经完成。
2023-12-05 10:39:45
263
原创 物流实时数仓：数仓搭建（ODS）
现在我们开始进行数仓的搭建，我们用Kafka来代替数仓的ods层。基本流程为使用Flink从MySQL读取数据然后写入Kafka中至此ODS搭建完成。
2023-11-24 11:45:37
745
原创 物流实时数仓：采集通道搭建
之前学校安排了实训，所以有一堆事情要处理。现在基本算是搞完了，继续进行学习的提升，这次进行的是实时数仓的学习，可以算是大数据学习的最后阶段了。以下是实时数仓的框架图。至此，物流实时数仓采集通道搭建完成。
2023-11-20 10:23:48
410
原创 Hudi第四章：集成Hive
本来关于Flink还有一些内容，但剩下的我了解过之后，觉得并不是很常用，而且 比较杂，所以还是决定需要的时候再学习吧。hudi的内容暂时就到这里，学习的过程中觉得hudi的技术还不是很成熟，很多地方的依赖需要自己修改，所以这次就不再进行太深层次的学习了。
2023-10-17 11:10:17
466
原创 Hudi第三章：集成Flink
之前的两次博客学习了hudi和spark的集成，现在我们来学习hudi和flink的集成。flink第一次就先写到这里剩下的还要在写一次。
2023-10-09 16:50:17
390
原创 Hudi第二章：集成Spark(二)
这次我们将hudi集成Spark补充完整。课程后边其实还有一些调优的内容，想了想还是没有写下了，用的时候再说吧。
2023-10-01 15:02:13
669
原创 Hudi第二章：集成Spark
Hudi可以使用Spark作为搜索引擎。我们写博客记录一下，不知道一次能不能写完。这一次就写到这里，东西比较多，关于Spark的东西还要在写一次。
2023-09-30 15:08:47
756
原创 Hudi第一章：编译安装
Apache Hudi（发音为“连帽衫”）是下一代流数据湖平台。Apache Hudi 将核心仓库和数据库功能直接引入数据湖。Hudi 提供表、事务、高效的更新插入/删除、高级索引、流式摄取服务、数据聚类/压缩优化、 和并发性，同时将数据保留为开源文件格式。Apache Hudi 不仅非常适合流式处理工作负载，而且还允许您创建高效的增量批处理管道。
2023-09-24 19:01:51
540
原创 线上问诊：数仓开发(一)
上次我们已经将MYSQL的数据传送到了HDFS，但是HDFS的数据没法直接进行查看和修改。这次我们将其转入hive仓库，并进行下一步的处理。数仓开发的代码太多了，还是分两次记录吧。
2023-09-01 00:52:58
658
原创 Hive3第六章：更换引擎
这个博客主要是作为数仓项目的一次补充，主要是更换hive引擎，传统的MR引擎在hive2之后就不推荐了，我们这次更换spark引擎，使用hive on yarn。hive更换引擎是数仓学习中很通用的，所以这里单拎出来简单说一下。
2023-08-29 23:51:32
588
原创 线上问诊：业务数据采集
暑假躺了两个月，也没咋写博客，准备在开学前再做个项目找找感觉，由于之前做过广告数仓的案例，这次的博客会相对简略一些，数仓包括离线和实时两个部分，离线用来加深记忆，实时用来学习新技术。这里抓一次快照，后边实时数仓还要基于这里再次开发。
2023-08-23 16:11:32
1382
5
原创 Centos7:Flask-Apache部署
之前写过几个Flask网页来完成一些操作，一直使用的都是Screen+uwsgi所以在并发上边支持的不太好（反正就我自己用），但最近完成的一个项目，对并发要求稍微高一点，前几天也在升级软件，就顺便把Flask的安装部署也记录一下。至此Flask-Apache的部署完成。
2023-07-21 17:55:48
567
原创 Centos7:http/PhP升级
这篇文章记录一下，我维护我自己的服务器是遇到的一些问题。因为我用的是Centos7所以分类归入RHCE中Centos7的系统非常成熟稳定，但也导致一些源头里面带的包版本比较旧，所以这几天给我的LAMP框架进行了升级，主要还是Apache和PHP的升级，全部遵循官方教程（好多博客文章都是相互炒），为了使用最新版软件，全程编译安装，最终目的迁移我得WordPress博客。至此LAMP的框架升级完成。
2023-07-20 18:28:57
458
原创 广告数仓：全流程调度
这次我们为广告仓库进行一些收尾工作，主要是最终的数据导出和全流程调度以及数据的可视化，不知道一次能不能写完名称随意ods_to_dimods_to_dwd最后全局保存的时候定义全局变量全流程调度就到这里吧，可视化还要再来一次。
2023-06-23 20:17:17
646
原创 Flink第九章:Flink CEP
这次是Flink的最后一次内容,终于还是在放假前啃完了.FlinkCEP是在Flink上层实现的复杂事件处理库。它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。这是官方的介绍,看看就行了.先引入需要的依赖最后的CEP有点抽象,我也没完全理解,有机会在巩固巩固吧.
2023-06-04 10:53:07
717
原创 Flink第五章:处理函数
处理函数简单来时就是比DataStream API更加底层的函数,能够处理更加复杂的问题创建scala文件有关Flink底层处理函数的Api就到这里.
2023-05-20 20:43:47
587
进阶爬虫应该怎么学，怎么去实践
2021-07-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人