- 博客(35)
- 收藏
- 关注
RSS订阅
原创 Doris on K8s部署
最后一段注释掉，因为使用了serviceaccount，所以访问k8s的时候直接使用serviceaccount的，不需要配置.kube/config。# 修改点2： 镜像地址修改为真实doris镜像，可在https://hub.docker.com/r/apache/doris/tags找到需要的镜像版本。# 修改点1： 镜像地址修改为真实doris镜像，可在https://hub.docker.com/r/apache/doris/tags找到需要的镜像版本。发现是301重定向了。
2023-11-23 10:02:53
1689
原创 关于PermGenSpace内存溢出解决方案
关于PermGenSpace内存溢出解决方案内存溢出分为Heap Space和PermGen Space两种异常。正巧的是我这次就碰到了PermGenspace异常，为了解决这个异常花了我 半天的时间，所以今天写这个方案就是做一种笔记。 刚开始碰到这个内存溢出的问题的时候，我一直没有去管他，因为开发时间紧我不得不放弃这些系统抛出的异常。 废话不多说了，先来看看这次内存溢出到底是
2017-09-06 22:38:13
19678
10
原创 Jenkins+K8s实现持续集成（一）
先在另外一台机器上使用docker images查看docker镜像，里面有一个hello/gocd-agent-hello的镜像。然后在这台机器上也vi /etc/docker/daemon.json配置。再配置vi /etc/docker/daemon.json。安装完之后，执行下面命令可以看到镜像仓库已经安装成功。然后在浏览器上输入下面地址进行访问。
2024-06-19 10:53:24
537
原创 Jenkins+K8s实现持续集成（二）
三、project-svc.yaml怎么写呢？五、如何在jenkins里面进行配置呢？部署前呢，要先把jenkins搭建好。二、project.yaml怎么写呢？四、jenkins.sh脚本如何写？一、Dockerfile怎么写呢？挂载目录和项目名字需要改成自己的。同时呢已经有了k8s的环境。
2024-06-19 10:38:24
760
原创 Java Opencv识别图片上的虫子
最近有个需求，希望识别图片上的虫子，对于java来说，图像识别不是很好做。在网上也搜索了很多，很多的代码都是不完整，或者下载下载报错，有的写的很长看不懂。所以自己试着用java的opencv写了一段代码。发现识别的效果还不错，下面把代码贴出来。但是这里面有一些缺陷，就是没有加入transformer和org.deeplearning4j，对于复杂的场景识别的不是很准确。后期再更新把神经网络加上去。一、POM.xml文件导入jar包。二、主要的处理步骤和逻辑代码。
2024-06-11 11:50:51
522
原创 AGI时代个人发展
但是我们不帮着他们去吹牛，客观的去分析这些主流的公司把AGI的真正实现定到3到5年对他们是最有利的，这一点我们要清晰的看到，每一个人在说观点的时候背后对他是不是最有利的。基本上训练一个大模型的团队大概在10~20个人的样子，这个事不是人数密集型的事，其实是算力密集型的，是个烧钱的东西。这是最理想的状态，但是三懂都做到是有难度的，不是一蹴而就的，需要长时间的积累。第二种是编程向的，懂编程，懂AI。编程是把他实现的手段，AI是他必备的元素，懂业务才能把这产品和市场做更好的匹配，这是成功的三懂。
2024-06-06 13:19:23
893
原创 python开发扑克牌游戏
用一个列表保存54张扑克牌，先洗牌,再按斗地主的发牌方式把牌发给三个玩家，多的3张牌给第一个玩家(地主)最后把每个玩家手上的牌显示出来。
2024-06-04 23:26:53
206
原创 python猜数字游戏
计算机给出对应的提示“大一点”，”小一点“或”恭喜你猜对了“，直到猜中为止。计算机随机产生一个1~100的随机数，人输入自己猜的数字，如果猜的次数超过7次，计算机温馨提示“智商余额明显不足”
2024-06-01 22:09:20
228
原创 python循环穷举法解决百钱百鸡数学问题
鸡翁一值钱5，鸡母一值钱3，鸡雏三值钱1，用百钱买百鸡，问鸡翁、鸡母、鸡雏各几何。鸡雏三只1块钱，100块钱最多可以买100只，所以鸡雏的取值范围是（0，100）鸡翁一只5块钱，100块钱最多可以买20只，所以鸡翁的取值范围是（0，20）鸡母一只3块钱，100块钱最多可以买33只，所以鸡母的取值范围是（0，33）循环穷举法解决百钱百鸡。
2024-05-30 00:13:57
182
原创 开源集运wms系统
经过长时间的开发和测试，我自豪地推出了我的集运WMS系统。它不仅具备传统WMS系统的所有功能，还针对集运业务的特点进行了特别优化。集运WMS系统是一种专为集运业务设计的仓库管理系统，它能够高效地处理来自多个来源的货物，优化存储和发货流程。
2024-05-29 11:44:33
377
原创 Ai相关电子书
本书涵盖了元宇宙的诞生背景、元宇宙的科技支撑和经济逻辑、元宇宙与数字经济的互动关系，以及元宇宙未来的产业发展前景，例如元宇宙与教育产业、工业产业、机器人产业、时尚艺术产业的应用。《生命3.0》一书中，作者迈克斯·泰格马克对人类的终极未来进行了全方位的畅想，从我们能活到的近未来穿行至1万年乃至10 亿年及其以后，从可见的智能潜入不可见的意识，重新定义了“生命”“智能”“目标”“意识”，并澄清了常见的对人工智能的误解，将帮你构建起应对人工智能时代动态的全新思维框架，抓住人类与人工智能共生演化的焦点。
2024-04-30 14:00:10
266
1
原创 AI 工具合集
在百度 AIGC 数字人超市中找到想要的数字人形象，用到自己的视频创作，通过文字自动生成视频。绿幕抠像，视频合成，输入文字生成视频，但是免费试用的权限有限。国内版 Midjourney，注册初免费，用完电量。需要梯子，每月免费 2000 个词，主要用于营。集 AI 写作、多人协作、文本校。集 AI 写作、多人协作、文本校。美图秀秀工具，免费使用，支持文生图、图生图。需要梯子，需要付费。微软出品，测试阶段，前面免费使用，点数。阿里的工具，暂时免费，生成插画，支持文。对、改写润色、自动配图等功能为一体。
2024-04-29 13:31:25
1069
2
原创 初识大模型（通识篇）
所以现在最缺的是大模型的解决方案专家，把很多场景融会贯通，知道什么场景用什么技术路线，能做到什么东西，到底怎么做，能创作什么流程。大模型开发目前对于学历这块要求其实不是那么高，大模型这个领域对于参与大模型开发的要求，跟过去参与AI项目完全不一样，过去的AI项目要求的是算法工程师。所以对于会编程的人来说，我们更加要去使用大模型，学会用chatgpt去写代码，现在网上有很多公司已经强制要求开发人员使用大模型来辅助写代码，有的还纳入了考核里面。其实很多的时候每个人都不清楚怎么学大模型，或者说学习大模型目的是啥。
2024-04-29 13:15:55
355
原创 docker安装定制gocd-agent
一、定制gocd-agent很多人会想为什么要把openjdk8、maven、make等命令打包到docker容器里面，因为docker容器里面是不带这些命令的，但是我们在打包部署的时候需要用到这些命令。所以需要把这些命令一起打成镜像，一起部署。上面打了两个镜像一个是openjdk8，一个是openjdk17的，但是在打openjdk17的时候会报如下的错。
2024-02-02 14:08:14
491
原创 docker安裝gocd-server，并配置gitlab授权登录
进来之后就是这个页面，Name是可以随便填写的，Redirect URL到底填写什么呢？后面还要创建一个access token，点击左边的“Access Tokens”,再点击右边“Add new token”点击“save”之后，就有了ApplicationID和Secret，保存好，后面要用。下面有下载地址，下载完之后，通过挂载的方式挂载到docker，使用dockers -v。配置好之后，再次进入gocd，已经有gitlab图标了，点击gitlab的图标。点击头像，选择“Preferences”
2024-01-07 20:08:44
1255
原创 FlinkCDC报错解决
如果利用FlinkCDC在同步的时候报这个错误，说明server_id需要指定一个；出现的原因是因为你监听的mysql的表时，有多个相同的server_id监听同一个binlog日志。如果不指定，Flink默认是给到server_id：5400-6400。
2023-12-26 15:22:06
960
原创 FlinkCDC（三）同步mysql的binlog到doris
另外一种使用jdbc的方式，直接读取mysql的表结构信息，然后通过jdbc的方式连接doris创建表结构；1、在同步的时候，怎么实现在doris里面自动创建表结构。如果不是自动创建表结构，那么每次同步一个表都需要手动去创建表结构，这样的话会很累；使用jdbc的方式，直接读取mysql的表结构信息，然后通过jdbc的方式连接doris创建表结构；2、多个表或者整库同步的时候，怎么通过只连接一次，就可以监听多个表或者整库的数据变动；所以呢，这篇文章先解决第一个问题，如何自动同步表结构到doris；
2023-12-26 14:42:49
1263
原创 FlinkCDC（二）同步mysql的binlog到doris
前面一章使用flink sql的方式来做数据的同步，但是有一个问题，如果我们一个库里面有100多张表或者更多，那就要写100多个create table来连接，mysql的连接数也会一下子暴涨，所以对于多个表或者整个库或者多库的数据同步，只能使用datastream来同步。这个项目部需要用到spirng、springboot和springclound，直接在main方法里面实现逻辑；先创建一个project，取名flinkcdc-mysql-doris。第一步先创建flink datastream的环境。
2023-12-25 17:03:23
739
原创 Flinkcdc（一）同步mysql的binlog到doris
现在使用第一种方式来实现，通过在flink的client里面进行sql方式的执行。在flink的bin目录下有一个./bin/sql-client.sh，进入到这里面可以执行sql语句。flink利用mysql-cdc从mysql读取binlog日志；一种使用的是datastream的方式；一种是直接使用sql的方式；
2023-12-25 15:41:21
745
原创 Flink On Kubernetes报错解决
如果一个pod运行一段时间之后，不断的重启，并且报错java.io.IOException: Size of the state is larger than the maximum permitted memory-backed state. Size=9985820, maxSize=5242880. Consider using a different checkpoint storage, like the FileSystemCheckpointStorage.
2023-12-25 09:49:10
657
原创 Flink On Kubernetes（四）Flink Kubernetes Operator Application模式
如果没有设置checkpoint的存储地址，flink默认会把checkpoint的存储地址放到内存里面，这个时候就会出现一个问题，任务一开始是可以正常运行的，等运行到一定时候就会报错，从日志上看不出任务的问题。所以checkpoint也需要设置存储的地点，这里通过pvc挂载的方式来设置存储点，一、jar包要挂载可以使用华为云的obs或者阿里云的oss，或者disk磁盘来挂载都可以；设置的这些pvc名称一定要和flinkcdc-mysql-doris.yaml文件里面的名称是一致的。
2023-12-22 14:43:48
548
原创 Flink On Kubernetes（三）Flink Kubernetes Operator安装
前面讲了Flink On Kubernetes如何进行技术的选型，这边的话目前选用的是Flink On Kubernetes Application模式，这种模式最好的是资源隔离，就是说如果这个任务出现CPU和内存的突然彪高不会占用其他任务的资源，不会影响其他任务。Flink Operator主页： https://nightlies.apache.org/flink/flink-kubernetes-operator-docs-release-1.3/API，使其具有管理和操作的能力 Flink 部署。
2023-11-27 16:14:46
1239
原创 Flink On Kubernetes（二）
现在开始都是基于Kubernetes的Flink，其实Flink On Kubernetes里面还有2中模式，4中作业提交方式。
2023-11-24 17:14:16
503
原创 Flink On Kubernetes（一）
Flink有多种运行模式，可以运行在一台机器上，称为本地（单机）模式；也可以使用YARN作为底层资源调度系统以分布式的方式在集群中运行，称为Flink On YARN模式；还可以使用Flink自带的资源调度系统，不依赖其他系统，称为Flink Standalone模式。还有将Flink部署到Kubernetes的模式，称为Flink On Kubernetes模式。standalone模式有有一个缺点就是只有4个槽，一次只能跑两个Flink任务，一个Flink任务占2个槽；
2023-11-24 16:31:14
473
原创 Docker容器部署Doris
这个ip到底是什么呢，如果你在宿主机上使用了虚拟机，到底是用哪一个IP，可能很多人会搞不明白，如果宿主机上的本地ip和虚拟机上的ip是一样的，那么就用本地ip；如果不一样假设你宿主机的ip是：192.168.1.15，虚拟机的IP是192.168.1.56，那么一定要虚拟机的IP。这里是一个很大的坑。是不可能成功的，因为还要看你的电脑是否支持AVX2指令集，怎么看自己的电脑是否支持AVX2指令集，通过命令cat /proc/cpuinfo |grep avx2如果什么都没有返回说明是不支持的。
2023-11-22 16:43:05
927
原创 springmvc+mybatis+maven多数据源集成
在搭建多数据源集成的时候主要注意两个方面：一个就是数据源切换的问题，另外一个就是事务的问题。数据切换可以分为手工切换和aop自动切换。我们现在使用spring aop来自动切换。首先配置一下数据源： <beans xmlns="http://www.springframework.org/schema/beans" xmlns:tx="http://www.springfr
2018-01-22 11:32:34
531
原创 事务引发的tomcat重启
最近我们的online系统出现了一个很奇怪的问题，国外的客户导入订单之后，在查询页面找不到。必须重启tomcat之后，才能查询到。但是国内的客户不会出现这种情况。一开始认为是线程阻塞了，出现死锁的情况。但是开启jconsole并没有发现有线程死锁。后来又去查询是不是数据库连接池满了，没有释放连接，结果还是不是，并且把连接池c3p0换成了阿里的druid。打开所有的监控，突然间，突然
2017-10-12 14:03:17
495
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人