- 博客(37)
- 收藏
- 关注
RSS订阅原创 使用Colaboratory免费GPU资源微调Llama3-8b
LoRA 的核心思想是通过引入低秩矩阵的变化来代替对原始大矩阵的更新，从而减少训练过程中需要更新的参数数量。具体来说，在模型的某些权重矩阵中引入一个低秩分解（两个小矩阵的乘积），并只训练这些小矩阵，而不是原始的大矩阵。
2024-06-07 14:19:16
667
原创 No ‘ChromeSansMM’ font 错误解决
经过调查，发现这个错误在我的开发环境（macOS）中不存在，但在 Docker 容器（基于 Ubuntu）中缺失。错误, 这种方法不仅解决了当前的问题，还确保了在处理其他 PDF 文件或生成图形时不会遇到类似的字体缺失问题。通过将 macOS 的所有字体集成到 Docker 镜像中，成功解决了。将 macOS 的所有字体复制到 Docker 镜像中。这个错误表明应用程序在处理 PDF 文件时无法找到。
2024-06-07 14:17:30
425
原创 CogVLM2多模态开源大模型部署与使用
CogVlM2 Int4 型号需要 16G GPU 内存就可以运行，并且必须在具有 Nvidia GPU 的 Linux 上运行。
2024-06-04 17:35:56
1713
6
原创 通过PandasAI使用自然语言进行数据分析
PandasAI是一个Python库，可以很容易地用自然语言向数据提问。它可以帮助您使用生成人工智能来探索、清理和分析数据。
2024-03-27 10:33:40
775
原创 Apache Solr9.3 快速上手
Solr是Apache的顶级开源项目，使用java开发 ，基于Lucene的全文检索服务器。Solr比Lucene提供了更多的查询语句，而且它可扩展、可配置，同时它对Lucene的性能进行了优化。
2023-10-09 12:18:56
769
原创 Quarkus Camel 入门学习
这个代码的核心是使用 Camel Quarkus 框架实现一个 RESTful 风格的 Web 应用程序，该应用程序提供了一个名为/fruits的 HTTP GET API，返回 JSON 格式的水果列表数据。在实现过程中，使用了 Camel Quarkus 中的许多组件和特性，例如camel-rest组件来实现 RESTful 风格的 API，组件来支持 JSON 格式数据的序列化和反序列化，组件来提供一个基于 Infinispan 缓存的数据存储，以及组件来管理 Camel 上下文的创建和销毁等。
2023-04-26 14:27:14
336
原创 docker部署artemis之后Web Console页面空白
解决docker部署ActiveMQ Artemis 页面显示空白，没有显示 ActiveMQ Artemis Web 控制台。
2023-04-07 17:41:25
557
原创 4.单例Quarkus应用连接Hono AMQP
将消息发送到 Hono 的 AMQP 适配器的协议网关服务 Hono用的架构是quarkus, 我们想基于Hono的example去自定义gateway最好也使用该框架。
2022-10-17 17:51:03
168
原创 3.Hono通过网关连接到AMQP
使用基于自定义TCP协议的设备连接到Hono的标准AMQP适配器，通过实现 ProtocolGateway在TCP上侦听要执行的命令代表设备，并使用中的AMQP设备客户端类将它们映射到与Hono进行交互网关配置 默认情况下，网关侦听设备（）上的端口。这可以在文件或通过相应的命令行参数。以同样的方式连接到AMQP可以配置适配器。默认情况下，网关连接到Hono Sandbox的AMQP适配器，使用作为用户名。可以使用命令设置设备标识符，该命令要求将设备标识符作为参数：
2022-10-12 11:09:52
379
原创 2.Eclipse-Hono使用入门
HTTP适配器实例将Hono的遥测和事件API作为URI资源: MQTT适配器实例，将Hono的遥测和事件API视为通用MQTT主题层次结构: 将Hono的遥测和事件API作为一组AMQP 1.0地址公开: 用于接收命令和控制消息并将其转发到协议适配器: 设备注册表实例，用于管理注册信息并向协议适配器发出设备注册声明: 身份验证服务器实例，用于验证荣誉组件并颁发标识和权限的令牌。
2022-10-12 11:08:29
548
原创 1.安装并运行Eclipse-Hono
Eclipse Hono提供了远程服务接口，用于将大量IoT设备连接到后端并以统一的方式与它们进行交互，而无需考虑设备通信协议。它支持开箱即用，并可以通过HTTP，MQTT和AMQP之类的常见物联网协议进行通信间的设备。它还为重要的IoT通信模式提供API：设备可以使用遥测和事件消息来报告传感器读数；应用程序可以使用命令和控制来触发设备上的操作。
2022-10-12 11:07:14
997
2
原创 基于Binlog、FlinkCDC、Doris实现实时数据同步
基于Flink CDC 并结合 Apache Doris Flink Connector 及 Doris Stream Load的两阶段提交，实现MySQL数据库分库分表实时高效的接入到 Apache Doris 数据仓库中进行分析。
2022-09-02 18:54:10
4193
原创 Kettle 如何下载OSS上的文件
ossftp是一个特殊的FTP server，可以将对文件、文件夹的操作映射为对OSS的操作，使您可以基于FTP协议来管理存储在OSS上的文件。把dockerfile 和 安装盘放在同一个目录返回上一级执行 运行容器访问页面 配置ossftp ossftp客户端可以使用拥有Bucket访问权限的AccessKey访问ossftp服务端，也可以使用拥有Bucket访问权限的自定义登录用户访问ossftp服务端。...
2022-07-12 15:51:15
1222
原创 Apache Doris通过外部表同步数据
Apache Doris通过外部表同步数据Doris 可以创建通过 ODBC 协议访问的外部表。创建完成后，可以通过 SELECT 语句直接查询外部表的数据，也可以通过 INSERT INTO SELECT 的方式导入外部表的数据。本文档主要介绍如何创建通过 ODBC 协议访问的外部表，以及如何导入这些外部表的数据。目前支持的数据源包括：MySQLOraclePostgreSQLODBC驱动安装5.3 驱动1.下载5.3版本的MySQL的odbc驱动所以准备了一个5.3版本的驱动
2021-09-28 18:33:52
1930
原创 Apache Flume 基础及使用案例
Apache Flume 基础及使用案例什么是Flume ?Flume 是用于从多个源将日志流到Hadoop和其他目标的服务。一种分布式的、可靠的、可用的服务，用于有效地收集、聚合和移动大量的流数据到Hadoop分布式文件系统(HDFS)。Apache Flume具有简单灵活的基于流数据流的体系结构;并且具有可调的故障转移和恢复可靠性机制，具有健壮性和容错性。Apahe Flume是做什么的流数据从多个源获取流式数据到Hadoop中存储和分析隔离系统缓冲存储平
2021-04-26 11:04:46
305
原创 Mondrian + JPivot
Mondrian + JPivotJPivotJPivot是一个JSP标签库用于操作OLAP Table，让用户可以执行基本的OLAP操作，如切片、切块、上钻、下钻等。JPivot使用Mondrian作为它的OLAP服务器但也支持XMLA数据源访问。测试表模型三张维度表以一张事实表为基础将配置好案例的JPIvot放入Tomcat的webapps 下运行apache-tomcat-7.0.105\bin\startup.bat进入 http://localhost:80
2021-04-25 16:32:52
237
原创 处理kdevtmpfsi 挖矿病毒入侵
kdevtmpfsi 挖矿病毒入侵查看端口并杀掉任务kdevtmpfsi有守护进程，单独kill掉kdevtmpfsi进程会不断恢复占用。守护进程名称为kinsing，需要kill后才能解决ps -aux |grep kinsingps -aux |grep kdevtmpfsi[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pRCdR8b2-1619339244799)(https://i.loli.net/2020/06/01/EBZ8oiSumFjUz2
2021-04-25 16:27:54
244
原创 Hadoop压缩存储测试
Hadoop压缩存储测试执行1.放大测试数据放大之后的大小 : 6.26内容 : 重复的测序数据上传到服务器 文件名 : test1_R1.fq2.部署Hadoop环境2.1上传Hadoop包3.执行各个格式压缩解压设置HDFS的副本数为1查看可用的压缩格式 hadoop checknative配置压缩格式之后3.1代码实现打成Jar包上传到服务器3.2Gziphejiahao@MountHua:~/package$ java -jar
2021-04-25 16:24:42
234
原创 docker单节点安装CDH(离线安装)
docker单节点安装CDH(离线安装)安装前准备环境系统 : CentOS Linux release 7.9.2009 (Core)mysql : 5.7.32jdk : jdk-8u45cdh : 5.16.1搭建步骤注 : 本地搭建在docker内,故不装mysql,组件元数据存储在宿主机内的mysql机器配置 :内存 : 32GCPU : i7-6700 CPU上传软件包# 将所需要用的的文件上传到/root/software/cdh下，该目录可以任意指定：用来
2021-04-25 16:13:37
690
原创 MDX语言学习
MDX概述 如果我们请教任何一位熟悉关系型数据库的朋友:“在关系型数据库方面，什么是最核心的技术?”那么答案多半是“SQL语言”。同样的道理，在BI领域，可以认为MDX语言是最核心的技术。因为商业智能的一项关键技术是多维数据库，访问多维数据库时使用SQL语言是不适用的，我们需要使用另一种语言:MDX。更深一步讨论，MDX包含两种最主要的用途:SQL语言可以查询和管理关系型数据库。类似的，MDX语言可以查询和管理多维数据库。MondrianPentaho Analysis Services，即Mo
2021-04-25 16:11:11
1934
原创 Analysis Services 建立数据仓库实例-ssas
Analysis Services 建立数据仓库实例-ssas环境配置好SqlServer2019-》SqlServer SSMS(管理工具)-》visual studio第一，最好按照这个顺序安装。第二，建立数据仓库要用到visual studio，ssms只是管理工具第三，如果要用报表服务，这个东西是要另外安装的，官网有，然后也是用visual studio来建模。建立项目建立 Analysis Services 多维和数据挖掘项目如果没有则去安装 SSDT使用 Visual St
2021-04-25 16:02:03
5301
10
原创 深度学习之图像处理与分析(二)
深度学习之图像处理与分析(二)目录反向传播卷积神经网络过度拟合总结与讨论连锁规则神经网络中的每一层都接受上一层功能的输出，并将其用作其功能的输入链规则用于计算“函数的梯度”神经网络由许多张量运算链接在一起组成，例如 h（x）= g（f（x））反向传播反向传播是一种朝着方向（梯度）更新权重的方法，可以在给定标记观察值的情况下最小化预定义的损失函数应用链规则计算神经网络的梯度值从最终损失函数开始，然后从顶层（输出层）向底层（输入层）反向运行通过迭代应用链式规则来重用先
2020-12-24 16:50:05
889
1
原创 基于Kylin的OLAP平台建设
基于Kylin的OLAP平台建设背景因公司需求,可能会构建一套OLAP即席查询平台(针对业务，并定制开发一个前端界面，将界面上用户的选择和操作，翻译成SQL，提交给Kylin查询),故交代一下背景在我们的传统数仓架构当中,往往可能会遇到一个问题,当数据量快速增长的时候,这时候的数仓通常只支持垂直扩展(比如说增强机器CPU性能,内存等等)来提升数据处理能力,所以说达到这样的一个瓶颈,在15年左右的时候,hadoop已经有很多公司在用,但是Hadoop与BI平台的衔接是不够成熟的,因为hadoop无法提
2020-12-24 16:42:00
503
1
原创 数据可视化BI平台--CBoard的使用
数据可视化BI平台–CBoard的使用准备与安装环境准备JDK.18Maven3.5Tomcat9.0MySQL5.7CBoard 0.4.2PhantomJS 2.1Chrome浏览器(官方要求)克隆项目git clone https://github.com/yzhang921/CBoard.git导入CBoard初始数据。修改配置文件打开src/main/resources/config.properties，修改初始数据库配置信息以
2020-12-24 16:30:29
1185
1
原创 Cassandra基础及使用
Cassandra基础及使用什么是Apache Cassandra？Apache Cassandra是一个分布式数据库，用于管理许多商品服务器上的大量数据，同时提供高可用性服务，没有单点故障分布式分区行存储物理多数据中心本机支持连续可用性线性规模性能操作简便易于分发数据…谁在使用Cassandra？eBay，GitHub，GoDaddy，Netflix，Reddit，Instagram，Intuit，The Weather Channel等超过1500多家公司苹果的7
2020-09-09 16:25:10
872
原创 CDH6.3.1 平台搭建
自测–CDH6.3.1 搭建 (2核16G阿里云环境)1.准备工作1.1部署方式本次测试采用离线部署的方式 :主要分为三块 :Cloudera-Manager离线部署MySQL离线部署Parcel文件离线源部署1.2集群规划节点MySQL部署组件Parcel⽂文件离线源CM服务进程大数据组件hadoop001MySQLParcelActivity MonitorNN RM DN NMhadoop002Alert Publisher Eve
2020-08-12 17:25:34
1099
2
原创 Apache Oozie架构及工作流程模型
Apache Oozie架构及工作流程模型一 Oozie概述1 Oozie是什么Hadoop的工作流运行引擎和调度程序MapReduce作业Spark（Streaming）作业Hive 作业Apache顶级项目打包主要在Hadoop发行版中http://oozie.apache.org/docs/4.2.0/index.htm提供工作流管理与协调器管理Actions的有向无环图（DAG）2 Oozie架构运行HTTP服务Clients通过提交workflow
2020-08-12 17:15:51
801
原创 Spark介绍入门学习
Spark介绍认识spark一个基于的内存的分布式计算框架Spark优势速度快易用性通用性随处运行Spark与HadoopHadoop MapRedue 的表达能力有限。所有计算都需要转换成 Map 和 Reduce 两个操作，不能适用于所有场景，对于复杂的数据处理过程难以描述。磁盘 I/O 开销大。Hadoop MapReduce 要求每个步骤间的数据序列化到磁盘，所以 I/O 成本很高，导致交互分析和迭代算法开销很大，而几乎所有的最优化和机器学习都是迭代的。所以，H
2020-08-12 15:40:43
243
原创 Apache OFBiz 学习
OFBiz进阶学习1.准备1.1环境及工具Intellij IDEA 2020.1JDK1.8.xxMySQL5OFBIZ版本 (当前发布最新版17.12.04-发布于2020-07-13) 这里使用16.11.05 下载链接2.下载 Apache OfBiz 框架下载链接下载之后解压Apache OFBiz 自带的数据库为 Derby 后续可以配置成MySQL数据库3.运行 Apache OFBizgradlew cleanAll loadDefau
2020-08-12 15:33:03
1397
3
原创 深度学习之图像处理与分析(一)
深度学习之图像处理与分析目录人工智能和深度学习概论图像基础深度学习基础深度学习的基本数学理解的人工神经网络人工智能和深度学习概论中国的AI2017年7月，国务院发布白皮书，使中国到2030年成为全球AI领导者，行业价值1500亿美元到2030年投资70亿美元，其中包括在北京的一个研究园的20亿美元全球AI资金占主导地位48％，而美国在2017年为38％中国的AI公司总数为23％，而美国2017年为42％AI与ML与DLArtificial intelligence(人
2020-08-12 14:21:29
3056
原创 Spark Streaming的流数据处理和分析
一 Spark Streaming1 Spark Streaming概述1.1 实时数据处理的动机以前所未有的速度创造数据来自移动，网络，社交，物联网的指数数据增长…联网设备：2012年为9B，到2020年将达到50B到2020年，超过1万亿个传感器我们如何实时利用数据的价值？价值会迅速下降→立即获取价值从被动分析到直接运营解锁新的竞争优势需要全新的方法1.2 跨行业的用例1.3 什么是Spark Streaming？Apache Spark核心API的扩展，用
2020-08-12 13:51:27
1525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人