- 博客(146)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 netCDF文件预览（nc格式）
（4）在“系统变量”区域点击“新建”，创建一个新的变量JAVA_HOME，变量值为JDK的安装路径，例如：D:\DevelopENV\java\jdk-11.0.16。（1）找到JDK安装目录下的bin文件夹，例如：D:\DevelopENV\java\jdk-11.0.16\bin。（6）在“编辑环境变量”窗口，点击“新建”，添加%JAVA_HOME%\bin。（5）在“系统变量”区域找到名为Path的变量，选择它，然后点击“编辑”。（2）右键点击“我的电脑”或者“此电脑”，选择“属性”。
2024-08-16 19:38:58
362
原创 pytorch2部署（gpu版）
解压后将下面这些文件，拷贝到cuda安装目录 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1。3.安装pytorch-gpu版本。可以避免不同项目，版本不兼容问题。7.检验gpu是否可用。2.1 虚拟环境好处。
2023-06-04 11:49:36
281
原创 matlab函数编译为jar包的方法
1.部署生产本地需要部署本地最小化运行环境（去matlab官网下载：https://ww2.mathworks.cn/products/compiler/matlab-runtime.html）2.调试需要复制matlab中的库放到项目可识别的路径（javabuilder.jar）
2023-06-04 10:17:35
630
原创 数据仓库Kimball维度建模技术精华
1.事实表概念事实表用来表示业务度量，事实表的每行代表一个度量事件。2.行设计原则第一原则：每行中的数据是一个特定级别的细节数据，称为粒度。所有度量行必须具有相同的粒度，避免发生数据重复，导致重复计算。第二原则：尽可能将文本数据放入维度中，除非事实表中的数据每行都唯一。3.事实表分类第一类：事务第二类：周期性快照第三类：累积快照...
2022-02-15 15:36:51
855
原创 一文搞懂什么是数据湖(data lake)？
data lake数据湖，最早由Pentaho的CTO,James Dixon发明。他在博客中这样描述数据湖：如果你把数据集市看作是一家售卖干净的、规整包装的、便于消费的瓶装水的商店，那么数据湖就是更自然状态下的一大片水域。数据湖的内容从一个源头流入，各类用户可以前来检查，探索或者取样。数据湖最重要的特点有两个，第一个是自然，第二个是可以被各类用户使用。我们先讲何为自然，自然在这里指自然而然，未经处理，原始状态。就像一大片湖水一样，原生态。类比到数据，就是原生的数据，未经任何转换和加工。那么我们
2022-01-21 11:37:43
3900
原创 Kafka解耦原理浅析
一、高度耦合大数据架构1.每一个数据源都会有四个不同流向2.每一个数据接收者都可能有四个不同来源3.系统高度耦合，系统复杂度4*4=164.不利于程序开发、维护、升级二、Kafka解耦之后架构1.所有source只流向Kafka2.所有target只从Kafka中取数据3.系统高度解耦，系统复杂度4*1*2=84.开发和维护升级成本显著降低三、传统架构对比Kafka架构复杂度...
2020-05-31 16:25:22
2814
原创 Matplotlib基本操作
matplotlib 是一个广泛使用的 Python 图形库，用于生成静态、动态和交互式的可视化图表。它最初由 John D. Hunter 创建，并首次发布于2003年。matplotlib 提供了一个面向对象的 API，允许用户创建多种类型的图表，包括线图、散点图、直方图、功率谱、条形图、误差图、饼图等。灵活性：用户可以控制线条样式、字体属性、布局调整等细节。输出格式：支持多种图形输出格式，如 PNG、PDF、SVG、EPS 和 PGF。
2024-08-21 18:25:07
272
原创 Numpy基本操作
NumPy 是一个用于 Python 编程语言的开源库，它的主要功能是支持大型多维数组和矩阵，并提供了大量的数学函数来操作这些数组。NumPy 是 Python 科学计算生态系统的核心组成部分之一，广泛应用于数据分析、科学计算、机器学习等领域。主要特点高性能数组操作：NumPy 提供了一种高效的多维数组对象，以及用于对其进行操作的函数。这些数组在内存中是连续的，因此可以高效地进行访问和操作。广播功能：NumPy 支持数组间的广播操作，即使数组的形状不完全匹配也能执行数学运算。
2024-08-21 11:33:54
878
原创 pandans读写分析csv文件
CSV 文件（Comma-Separated Values，逗号分隔值文件）是一种常用的数据存储格式，用于存储表格数据。CSV 文件通常包含一系列记录，每个记录由字段组成，字段之间通过逗号或其他字符分隔。每行通常代表一条记录，而每个字段则代表记录中的某个属性或值。Pandas 是一个强大的 Python 库，主要用于数据处理和数据分析。pandans是一个非常强大的二维表格处理库，数据量在1GB以下时，处理分析起来很方便；如果数据量较大，可以将数据导入到mysql、hive等数据库进行分析。
2024-08-20 18:45:59
166
原创 netCDF文件读写处理
NetCDF 是一组软件库和自描述、独立于机器的数据格式，支持创建、访问和共享面向数组的科学数据。NetCDF 由Unidata开发和维护。Unidata 提供用于地球科学教育和研究的数据和软件工具。Unidata 是大学大气研究公司 ( UCAR ) 社区计划 ( UCP ) 的一部分。Unidata 主要由美国国家科学基金会资助。NetCDF 主页位于https://www.unidata.ucar.edu/software/netcdf/。
2024-08-16 18:57:59
295
原创 spring aop的优劣
博主认为java spring的aop切面编程，类似于python的装饰器，方便将日志记录、测试等通用功能提取，在不改变原来代码的基础上增强功能。部分单一需求场景适用，对于复杂的业务场景并不能总是适用，一味的追求aop反而会带来很多副作用。因此，aop可以作为一种设计模式去参考，而不能作为一种必选方式应用的日常的架构设计，程序开发中，否则会适得其反。
2024-08-07 08:57:12
566
原创 C++计算二维坐标欧式距离
在欧几里得空间中，点x =(x1,…,xn)和 y =(y1,…,yn)之间的欧氏距离为。该公式常用在机器学习场景，用于距离计算，KNN算法等。
2024-08-03 15:16:13
177
原创 python3.10安装geopandans实战笔记
参见博客：[https://blog.csdn.net/qq_34321590/article/details/122180173]shapely-2.0.2-cp310-cp310-win_amd64.whl【手动下载】Fiona-1.8.21-cp310-cp310-win_amd64.whl【手动下载】GDAL-3.4.3-cp310-cp310-win_amd64.whl【手动下载】手动离线安装shapely。手动离线安装fiona。在线安装pyproj。手动离线安装gadl。
2024-08-02 17:38:38
281
原创 js脚本在html页面中的位置
head、body、body并列、html并列、外部都可以。1.js在html中的位置有哪些。放置在html文件同级目录。
2024-07-29 13:34:38
125
原创 mybatis查询数据字段返回空值
查询后brand_name/company_name为空。带下划线的字段，都会返回空值，应该是字段映射出了问题。在配置文件中添加下划线自动映射为驼峰。数据苦衷实际存储字段全不为空。再次查询，字段正常返回。
2024-07-26 18:36:25
212
原创 mybatis插入mysql数据:中文乱码
猜测是未指定编码造成的，在配置文件mybatis-config.xml添加配置。再次执行插入动作，不再乱码。中文字段乱码，不能正常显示。
2024-07-26 15:54:00
255
原创 break和continue区别演示
continue和break通常用来控制循环的执行，本文将用两个实例来说明二者的区别。2.continue演示i < 10;i ++) {System . out . println("大循环：" + i);j < 10;} } } }大循环：0012456789大循环：1012456789大循环：2012456789大循环：3012456789大循环：401245。
2022-12-23 13:25:56
283
原创 手写常见23设计模式
【1】Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides.设计模式。如果你要开发一个框架，系统，那一定要考虑设计模式，使你的框架有松散的结构、好的扩展性、低的耦合性以及较好的易用性。常见业务开发可适当考虑设计模式，从而使自己开发的业务有一定的扩展性；手写了常见23种设计模式存在github仓库，以供指正、参考、借鉴。设计模式，应该从场景和业务出发，做出合理的选择。脚本之流无需考虑设计模式，多为一次性使用；
2022-11-04 13:50:25
362
原创 Hive自定函数UDTF开发 部署 实战
1.什么时候用UDTF你可能会遇到下面这样的json字符串解析{"a":[{},{}，{}]，"b":{},"c":0, "d":null, "e": "lll",}假如，让你把字段a的数组炸裂成多行，再加一条，去掉数组的第1个元素。想一下，你要如何完成这个需求？此时，如果你使用hive提供的get_json_object或者json_tuple，甚至你再用一些nvl等函数，你发现很难解析出你想要的数据，即便勉强实现，你会发现解析效率很低，原因后面会讲到。2.开发自定义函数UDTF2
2022-10-19 18:07:47
696
原创 hive解析json字段
业务中尝尝会遇到解析json字段的情况，毕竟json是大家使用最广泛的对象传递数据结构。解析单个key用GET_JSON_OBJECT（）函数，批量解析多个key用json_tuple()函数。
2022-10-13 16:57:52
988
原创 flink1.13报错：The file STDOUT does not exist on the TaskExecutor
该报错主要是找不到STDOUT文件,原因是程序中没有sout输出，当你去web-ui点击stdout目录，就会报一个这儿样的接口请求错误，并不影响程序运行，可忽略。2.如果没有sout输出，不要点击stdout目录。1.修复flink runtime源码。3.随便加一点sout输出在程序里。......
2022-08-30 11:41:48
5028
原创 flink报错:Exception: Cannot parse input: expected \t before: \\N\t
腾讯云Oceanus1.13(对应flink1.13）centos7.5jdk8。
2022-08-23 17:18:01
2244
原创 log4j2日志输出到控制台-Maven工程
Log4J 内置的标准日志级别*如果默认的等级不能满足你的开发需求，可以自定义日志输出等级。在使用时通过 Logger.log()方法调用自定义日志级别配置log4j2.xml文件2.2 添加maven依赖3.实战测试3.1 测试类3.2 运行结果展示log4j日志管理框架可以很好的管理输出的日志内容，在调试，开发，运行等不同阶段配置不同的日志等级，有效提高了开发效率。log4j还可以配置日志输出到文件、数据库、邮件等位置，有需要的小伙伴自行探索一下，推荐参阅官方文档。https:
2022-07-07 17:03:23
2033
原创 Flink报错：Error: A JNI error has occurred, please check your installation and try again
2.解决方案将对应依赖包作用域调整为compile报错内容中找不到的类所在的依赖即为需调整内容。修改完依赖配置，记得更新依赖。
2022-06-22 18:28:07
1075
原创 flink报错：No ExecutorFactory found to execute the application
1.问题描述报错内容2.解决方案增加依赖项3.注意事项依赖版本，要和你使用的flink版本对应。
2022-06-21 14:43:48
559
原创 Kafka设置消息过期时间
2.设置方法2.1 进入配置文件目录将所有节点的配置文件均改为你需要的数值，注意不要直接同步，同步的话，节点配置会覆盖，大致集群故障。清除策略还可以按文件大小、偏移量等方式设置，但最常用的是按过期时间设置，有兴趣的可以研究一下其他策略，由于不常用，这里不做介绍。...
2022-06-21 14:30:16
1289
原创 Flink1.11.0-standalone session-本地集群模式-快速部署（适用＞=1.11版本，低版本未测试）
flink1.11.0centos7.5集群（3节点）https://archive.apache.org/dist/flink/flink-1.11.0/、 修改完后，同步至三个节点。修改完后，同步至三个节点。修改完后，同步至三个节点。6.打开flink-webUI测试地址：http://linux1:8081......
2022-06-17 11:40:10
377
原创 html5常用语法-1:标题 段落 无序列表 超链接 图片 块 表格
1.idea新建web项目新建项目选web,next随便命个名字2.html代码<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>这是Title</title></head><body><!-- 六种标题--><h1>这是标题一</h1><h
2022-04-28 23:56:48
1194
原创 docker查看当前正在运行的容器
1.docker指令docker ps该指令用来显示当前运行的所有容器，包含容器ID 状态 端口等信息。2.实操演示
2022-04-14 00:59:54
6861
原创 doris报错：Label Already Exists
1.报错场景加载数据[starcross@app1 FLink-test-LT]$ curl --location-trusted -u root:aba -T 'data_2022-04-11.csv' -H "label:testdoris201" -H "column_separator:," -XPUT http://10.22.33.69:8030/api/os/ws/_stream_load2.报错内容{ "TxnId": -1, "Label": "testdoris
2022-04-12 14:15:06
2524
原创 doris报错：too many filtered rows
1.报错场景加载数据[starcross@app1 FLink-test-LT]$ curl --location-trusted -u root:aba -T 'data_2022-04-11.csv' -H "label:testdoris201" -H "column_separator:," -XPUT http://10.22.33.69:8030/api/os/ws/_stream_load2.报错内容{ "TxnId": 831311, "Label": "testd
2022-04-12 13:42:29
14303
原创 任务调度框架-Airflow单机部署之docker方式
前言airflow支持集群部署，本文介绍单机部署方式，下图为airflow架构。1.服务器环境linux版本：centos7java版本：java8容器框架：docker2.拉取docker镜像文件docker pull puckel/docker-airflow3.启动airflow镜像docker run -d -p 8080:8080 puckel/docker-airflow webserver4.登录web-ui体验一下airflowhttp://lin..
2022-04-10 17:40:09
2032
原创 StarRocks2部署
1.下载安装包https://www.starrocks.com/zh-CN/download体验学习，选择社区版即可。2.解压并分发安装包至指定目录–StarRocks安装包目录结构–├── be # BE目录│ ├── bin│ │ ├── start_be.sh # BE启动脚本│ │ └── stop_be.sh # BE关闭脚本│ ├── conf│ │ └── be.conf # BE配置文件│ .
2022-04-05 19:18:31
799
原创 Kakfa监控工具EFAK( Kafka eagle )2.1.0详细安装步骤
3.12.1 efak下载https://www.kafka-eagle.org/3.12.2 上传解压tar包tar -zxvf kafka-eagle-bin-2.1.0.tar.gzmv efak-web-2.1.0 /opt/module/efak-web-2.1.03.12.3 配置efak3.12.4 配置efak环境变量Vim /etc/profile.d/myenv.shSource /etc/profile3.12.5 配置kafka jmx3.12.6
2022-03-18 01:15:50
3459
原创 Redis Insights安装及使用(Redis可视化操作工具-v2.0.4版本)
1.下载地址首先可以去挂网下载，不过可能很卡顿：https://redis.com/redis-enterprise/redis-insight（国外官网有点卡）如果想极速下载，可以使用csdn下载，不过要花点碎银子：https://download.csdn.net/download/qq_34321590/83320975（csdn极速下载）2.安装方式双击第一步下载的exe文件，等待自动安装完毕即可。3.连接redis数据库点击手动添加数据库，输入ip,端口信息，别名可以随意填写
2022-03-04 14:53:06
4146
2
原创 VS Code大小写转换插件使用指南：lowercase uppercase
1.安装插件lowercase和uppercase2.大写转小写（1）选中字符（2）按下快捷键alt + shift + l（3）转换结果3.小写转大写（1）选中字符（2）按下快捷键：alt + shift + u(3) 转换结果
2022-01-12 17:32:32
3454
python310 安装geopandans所需依赖库：GDAL、Shapely、Fiona
2024-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人