- 博客(476)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 Spark项目通用开发框架
每个公司内部都有一套自己的架子，一般新人来了就直接在已有的架子上开发业务。以下仅仅作为记录下自己使用的架子，不作为任何推荐，也不认为这样的组织结构就是好用的。
2024-07-10 11:25:49
507
原创 【spark】Exception in thread “main“ ExitCodeException exitCode=-1073741701
添加了HADOOP_HOME环境变量，指向了window的hadoop环境。在window上运行spark程序写到本地文件的时候报错。然后再运行程序的时候报错的。安装好后，运行正常。
2024-07-10 10:49:29
514
原创 visualbox搭建linux环境双网卡配置
双网卡网络模式简介（1）NAT模式可以使虚拟机和外部网络进行通信，但是光设置这个，外部主机还无法访问虚拟主机。（2）此时增加host-only网络模式，可以解决主机和虚拟机的通信。双网卡网络模式有以下优点：（1）虚拟主机既可以访问外部网络，也可以让外部客户端通过ssh访问虚拟主机，（2）换到新的网络时，客户端SSH访问的IP地址不需要改变。
2024-06-17 11:23:58
1255
原创 Hadoop Namenode节点迁移
尽管之前做了很多准备和测试工作，但是在迁移过程中还是发生了很多意想不到的问题。（1）某个文件夹下日志过于大，170w个文件，拷贝花费了很久。（2）56机器节点做了防火墙等验证发现是关闭的，但是57没看了，结果57上居然有防火墙开着，导致mysql外部链接一直存在着问题。因为这个问题，导致多次重启服务，发现dbveaver一只堵住无法连接。直接早上同事提醒时，才去看了看发现真有防火墙开着。
2024-06-17 10:45:02
1192
原创 maven-快照机制(SNAPSHOT)
快照（SNAPSHOT）是一种特殊的版本，指定了某个当前的开发进度的副本。不同于常规的版本，Maven每次构建都会在远程仓库中检查新的快照。现在erp-product团队会每次发布更新代码的快照到仓库中，比如说erp-product.jar:1.0.0-SNAPSHOT来替代旧的快照jar包。注意：每次更新jar包时，版本号不变，且后缀必须带上-SNAPSHOT。这样erp-inventory团队在每次打包时，不需要更新erp-product模块的版本号，自动从SNAPSHOT仓库拉取最新引用的模块。
2024-03-11 14:41:43
895
原创 关于优雅的使用SQL多行转多列的记录(doris)
准备的数据是这样的：需要将每个人的成绩显示在一行上，需要的结果如下：注意：这里用到的map_agg是doris里面的，其他数据库不确定有没有。map_agg(key,value) 这样使用的，这里将序号作为key，后面方便统一取值。4. 拆分map这里必须写死，没其他好方法,而且列是固定写死的。clazz[1] 这里的1就是上面的放进去的rk的值。
2023-12-04 16:41:50
657
原创 vue3前端开发系列 - electron开发桌面程序(2023-10月最新版)
我是先用pnpm创建了一个vue3+vite+ts项目，然后后续安装的时候使用pnpm安装electron一直有问题。还有nodejs的版本问题，这里安装的electron版本是26.3.0，推荐使用nodejs的版本为18.16.1。这里指定容器的高度和宽带为800*600，和electron.js中createWindow设置保持相同。在安装electron electron-builder时,可能会出现网络连接问题，请配置阿里的源。注意点：wait-on后面监控的tcp端口要和启动的端口保持一致。
2023-10-11 14:07:56
2006
6
原创 vue3前端开发系列(2) - 项目框架搭建篇(新手必看)
如果两个文件(.env.development和.env.production)在src文件夹里面，那么可以通过在vite.config.ts文件中设置envDir的值为"./src",在**项目根目录(通常是src目录外面)**新建.env.development和.env.production两个文件。项目别名配置的时候需要用的 path 模块，而path模块是node.js的内置模块，node不支持TS。模式启动，所以读取到的是.env.development文件中的值。
2023-10-10 02:04:52
2381
1
原创 vue3前端开发系列(1) - 开发环境安装篇(新手必看)
由于选择的是TypeScript语言，但是ts不认识.vue后缀的程序,所以这里添加这个声明，是对.vue后缀的一个扩展。nvm主要的作用就是对nodejs的版本的管理，允许当前环境安装多个版本的nodejs，然后通过命令来选择使用哪个版本。如果安装了vetur，需要禁用，这是开发vue2使用的插件，如果需要开发vue2，则可以再次打开。在vscode中，设置-> 用户代码片段，输入vue.json回车，在生成的文件中添加下面代码段。展示了已经安装的版本，以及正在使用的版本，如果需要切换版本，请使用。
2023-10-09 00:00:02
1415
原创 vue3前端开发系列 - flex布局篇
采用flex布局的元素，成为flex容器，它的所有子元素自动成为容器成员。通过给父盒子添加flex属性，来控制子盒子的位置和排列方式。
2023-10-08 01:43:57
3594
原创 vue3前端开发系列 - pinia小菠萝使用详细说明
官网地址：https://pinia.vuejs.org/zh/主要优点：完整的ts支持体积小，只有1kb左右去除mutations，只有state,getter,actionactions支持同步与异步代码扁平化没有模块嵌套，只有store的概念，store之间可以自由使用，每个store都是独立的。无需手动添加store，store一旦创建便会自动添加支持 vue2和vue3支持插件扩展功能什么时候可以使用？保存全局信息的时候，例如登录的个人信息。
2023-10-06 22:30:07
1604
原创 docker系列(9) - docker-compose
多服务部署工具，通过一个docker-compose.yml模板文件，定义一组关联的应用容器为一个项目。简单来说，就是当我们一个项目有多个服务需要启动时，通过docker-compose直接一键启动，就可以将所有相关的服务同时启动或者停止。
2023-09-29 02:57:20
495
原创 docker系列(8) - docker网络
问题：docker重启容器，容器内部的IP地址会发生变化。解决方案：可以通过指定容器服务名来访问。# 创建自定义网络# 加入自定义网络加入相同的自定义网络中后，在tomcat81容器内部ping tomcat82 或者tomcat82容器内部ping tomcat81 都可以相互ping通对方。这样解决了ip地址发生变更的问题。
2023-09-19 09:40:56
664
原创 docker系列(7) - Dockerfile
Dockerfile是用来构建Docker镜像的文本文件，是由一条条构建镜像所需要的指令和参数构成的脚本。官方语法文档：https://docs.docker.com/engine/reference/builder/上面打不开的，可以通过这个地址申请打开。
2023-09-19 09:32:06
468
原创 docker系列(6) - docker数据卷
v 表示宿主机的目录和容器的目录的映射，从而实现容器内的数据备份+持久化到本地宿主机目录。挂载容器卷记得添加 --privileged=true 参数，否则可能会发生无权限的问题。当宿主机有文件读写时，容器内部挂载的卷同样也会变更的。ro : readOnly 这里只限制了容器。容器u2继承u1的所有权限，包括卷和权限。这里u1和u2是ubuntu的两个容器。限制容器内部只读状态。
2023-09-10 16:09:52
530
原创 docker系列(5) - docker仓库
v /docker/registry:/tmp/registry 将宿主机的目录/docker/registry映射到容器内部的目录/tmp/registry。/etc/docker/daemon.json 这个文件在1.2阿里云加速器中生成的。docker Registry是官方提供的用于构建私有仓库的工具。一定要设置下这里的访问凭证，不然下面的登录可能会登录不成功。将docker镜像推送到阿里云docker仓库。修改配置后，建议重启docker服务。设置访问凭证后，终于可以登录成功。
2023-09-10 16:05:31
656
原创 docker系列(4) - docker镜像制作
由上边右图可知，bootfs之上，有操作系统镜像层（Debian），emacs镜像层，apache层，每1个使用到的软件都有独立的镜像层，且都是只读的，这也充分体现 了镜像的分层构建的思想，而在镜像最上层就是1个可读写层，也就是用户的所有操作只能影响可读写层，而不能影响底层镜像。docker commit，我的理解就是扩展，即在原有镜像上面增加新的层次，重新提交为新的镜像。Docker镜像层是只读的，容器层是可写的，当容器启动时，一个新的可写层被加载到镜像的顶部。
2023-09-10 16:00:34
448
原创 docker系列(3) - 常用软件安装
2、maven项目先打包，然后将打包好的jar包和Dockerfile文件上传到服务器，并且放到相同的目录。3、如果有外置配置文件application.yml，也需要放到上面相同的目录。时要保证字符集编码是utf-8，否则插入中文会显示乱码。1、文件名必须是Dockerfile，大小写不能修改。
2023-09-10 15:56:32
527
原创 docker系列(2) - 常用命令篇
注意如果分层多行，\后面不能有空格由于tomcat8.5以上的webapps目录发生变更了，所以必须将webapps.dist重命名webapps或者拷贝到webapps才能在web中访问。
2023-09-10 15:39:23
544
原创 docker系列(1) - docker环境篇
SpringBoot这类的应用项目，在连接数据库的配置文件中配置MySQL的连接时，就可以直接使用MySQL的静态IP地址，这样重启MySQL后也不会导致IP地址变更。重点：指定网关和固定的网段之后，在启动容器中指定IP地址，即可为容器分配静态IP，这样容器重启后IP地址不会变更。最后，需要注意的是，我们可以为同一个网络中的多个容器分配不同的IP地址，但IP地址必须在同一个子网中。这个命令将输出包含容器IP地址的行，从而验证我们刚才为容器分配的固定IP地址是否生效了。每个人注册后获取到的地址是不一样的。
2023-09-10 15:36:55
561
原创 docker部署SpringBoot项目
这个命令将启动一个名为“ubuntu”的容器，并将它加入到自定义网络“mynet”中。首先，我们需要创建一个自定义的网络，这样我们才可以使用Docker为容器分配固定IP。最后，需要注意的是，我们可以为同一个网络中的多个容器分配不同的IP地址，但IP地址必须在同一个子网中。这个命令将创建名为“mynet”的网络，并指定它的子网为“192.168.0.0/16”。这个命令将输出包含容器IP地址的行，从而验证我们刚才为容器分配的固定IP地址是否生效了。创建网络，则容器启动时，会自动分配动态的IP地址和网关。
2023-09-06 13:57:26
798
1
原创 Elasticsearch基础
分词器是es中一个组件，它会将一段文本按照一定的逻辑，分析成多个词语，同时对这些词语进行常规化的一种工具；在/opt/local/elasticsearch/plugins/目录下创建ik目录。ES会将text格式的字段按照分词器进行分词，并编排成倒排索引,这样es的查询就非常快。将以下2个配置，修改为自己安装的elasticsearch对应的版本号，不然会报错。同样kibana不能用root启动，所以修改权限和所有者为es。执行以下命令，是临时修改的，重启后会失效的。然后修改权限和所有者为es。
2023-08-29 15:22:21
711
原创 Lua基础知识
Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放， 其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。Lua 是巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）里的一个研究小组于 1993 年开发的，该小组成员有：Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo。
2023-08-24 17:46:09
627
原创 Spark项目Java和Scala混合打包编译
实际开发用有时候引用自己写的一些java工具类，但是整个项目是scala开发的spark程序，在项目打包时需要考虑到java和scala混合在一起编译。今天看到之前很久之前写的一些打包编译文章，发现很多地方不太对，于是重新整理更新如下。
2023-08-24 15:07:20
1649
原创 openresty安装与网站发布
下是安装好的nginx，后面的静态网站发布将在该目录下发布。将静态网站放到服务器上，这里放的目录为。:重新加载某个服务的配置文件。
2023-08-24 11:03:30
1438
原创 机器学习基础笔记
分类：识别图像动物 离散的聚类: 发掘兴趣爱好回归：预测股市价格 连续的逻辑回归朴素贝叶斯线性回归SVM决策树LDA矩阵分解保序回归的应用保序回归用于拟合非递减数据，不需要事先判断线性与否，只需数据总体的趋势是非递减的即可。例如研究某种药物的使用剂量与药效的关系。朴素贝叶斯算法是基于贝叶斯定理和特征条件独立假设的一种分类方法朴素贝叶斯算法是一种基于联合概率分布的统计学习简单的分类，通过划分“阈值”。
2023-08-12 17:54:09
1001
原创 Python日期带时区转换工具类总结
刚开始思绪有点乱，刚好趁机会好好的整理了一遍思路。注意: 当使用日期进行格式转换时，需要确定这个日期对应的时区。时区的设置python的日期中时区对应的有个属性timezone。我这里主要是通过pytz.timezone(“时区字符串”)来设置时区的。比如，要将日期转为时间戳，首先要指定这个日期的时区属性。日期设置然后通过localize方法配置这个日期的时区。再进行其他的转换。但是千万要注意，不要使用datetime中的.replace方法来设置时区。
2023-05-29 11:22:11
1444
1
原创 Knife4j文档请求异常(更新)
除了最后两个"/log/*“,”/admin/system/index/login/"是日志和登录接口以外，其他的都需要放行。我的是common一个单独的模块，在common模块中配置了WebMvcConfig。不在启动类上，而是加到了其他模块的注解中，可能会导致这种情况发生。在SpringBoot项目中，如果是分不同的模块开发。那么，解决方法也很简单，在启动类上也添加上注解。然后在WebMvcConfig类上面加了注解。白名单设置的不全或者不一致导致的。
2023-05-15 11:08:09
4260
原创 【五一创作】Springboot+多环境+多数据源(MySQL+Phoenix)配置及查询(多知识点)
除了在yml中配置spring.datasource.mysql或者spring.datasource.phoenix自定义数据源以外，还需要再java中单独配置数据源。新建config文件夹，针对不同的数据源进行单独的配置。
2023-04-30 22:13:09
2817
4
原创 pyspark-shell开启多行粘贴
pyspark-shell在/home/用户/目录下，新建一个隐藏文件 .inputrc然后填入set enable-bracketed-paste offspark-shell注意：上面的设置只支持pyspark的代码，发现不支持scala的版本。scala的版本，还是必须手工敲 :paste 来解决,按ctrl+D结束。...
2023-04-19 16:46:00
259
原创 解决Spark读取tmp结尾的文件报错的问题
flume采集文件到hdfs中，在采集中的文件会添加.tmp后缀。一个批次完成提交后，会将.tmp后缀重名名，将tmp去掉。所以，当Spark程序读取到该hive外部表映射的路径时，在出现找不到xxx.tmp文件的问题出现。
2023-04-14 18:07:58
297
原创 瑞吉外卖知识点总结(2)
SpringCache也提供了一层抽象接口，底层可以切换不同的cache实现类，接口名称是CacheManager。这里要注意验证码是在后台生成好的。我原来一直以为手机里的验证码是运营商生成的，原来是错误的。(5)后台根据前端填写的验证码和手机号和后端去匹配，如果一致就通过，否则，返回错误信息。SpringCache是一个基于注解的缓存功能，只要简单的加一个注解，就能实现缓存功能。点开Define remote，输入在gitee创建的库的地址，(2)后台接收请求，验证手机号，生成验证码。
2023-03-25 03:11:53
956
原创 SyntaxError: multiple statements found while compiling a single statement
这是一个非常头疼的问题，必须手工一行行粘贴，才可以调试程序。
2023-03-24 14:42:45
8041
原创 (固态硬盘)虚拟机安装Win7操作系统
我的笔记本是固态硬盘，要安装个win7操作系统做一些测试，刚开始怎么将光驱加载下载的ISO文件，启动时总是失败。大概是下面这样的显示。我尝试过修改启动时从CDROM加载，还是从UEFI启动都不行。以下是记录具体的可行性方案的步骤。
2023-03-19 14:10:53
1956
Spark写本地异常修复包
2024-07-10
linux-study4
2008-11-03
linux-study3
2008-11-03
linux-study2
2008-11-03
linux study
2008-11-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人