- 博客(71)
- 收藏
- 关注
RSS订阅原创 将本地项目上传到Github
找到github右上角的图标，打开点进里面的Settings，再选中里面的SSH and GPG KEYS，点击右上角的New SSH key，然后Title里面随便填，再把刚才id_rsa.pub里面的内容复制到Title下面的Key内容框里面，最后点击Add SSH key，这样就完成了SSH Key的加密。先看一下你C盘用户目录下有没有.ssh目录，有的话看下里面有没有id_rsa和id_rsa.pub这两个文件，有就跳到下一步，没有就通过下面命令创建。4、进入clone下来的文件夹，依次输入。
2024-04-15 16:53:46
346
原创 6、ipex-llm(原bigdl-llm)大模型微调
QLORA是一种高效微调方法，可以将内存使用降低到足以在单个48GB GPU上微调一个拥有65B参数的模型，同时保持完整的16位微调任务性能。QLORA通过一个冻结的、4位量化的预训练语言模型将梯度反向传播到低秩适配器（Low Rank Adapters，简称LoRA）
2024-04-11 20:17:32
696
原创 5、ipex-llm(原bigdl-llm)英特尔GPU加速
目前英特尔 GPU 上的 IPEX-LLM 支持 ‘sym_int4’, ‘asym_int4’, ‘sym_int5’, ‘asym_int5’ 或 'sym_int8’选项，其中 ‘sym’ 和 ‘asym’ 用于区分对称量化与非对称量化。这里我们展示了一个运行在 IPEX-LLM 优化过的 Llama 2 (7B) 模型上的支持流式显示的多轮对话实例。因此，建议在实际生成前进行一些预热的运行。load_in_4bit=True 等价于 load_in_low_bit=‘sym_int4’.
2024-04-11 12:58:25
916
原创 4.2、ipex-llm(原bigdl-llm)进行语音识别
由于需要处理音频文件，还需要安装用于音频分析的 librosa 软件包。下载音频文件。
2024-04-11 12:49:52
751
原创 4.1、ipex-llm(原bigdl-llm)构建聊天机器人
大语言模型的一个常见应用是聊天机器人 (Chatbot), LLM 可以参与进其中的互动对话。聊天机器人的互动并没有什么魔法——它依然依赖于 LLM 预测以及生成下一个 token. 为了让 LLM 对话，我们需要将 prompt 适当的格式化为对话格式。流式对话可以被视作是聊天机器人的进阶功能，其中响应是逐字生成的。接下来，定义 chat 函数，将模型输出持续添加到聊天记录中。函数来预测 token，您也可以使用其他的方法，例如 TextGenerationPipeline。
2024-04-11 12:42:58
1243
原创 3、ipex-llm(原bigdl-llm)在大模型上进行中文推理
AI指的是人工智能,是一种能够通过学习和理解数据,以及应用数学、逻辑、推理等知识,来实现与人类智能相似或超越人类智能的计算机系统。AI指的是人工智能,是一种能够通过学习和理解数据,以及应用适当的算法和数学模型,来执行与人类智能相似的任务的计算机程序。答： AI指的是人工智能,是一种能够通过学习和推理来执行任务的计算机程序。AI是一种非常有前途的技术,已经在许多领域产生了积极的影响,并随着技术的不断进步,将继续为我们的生活和工作带来更多的便利和改变。是一个被广泛的用于开发由语言模型驱动的应用程序的框架。
2024-04-11 12:17:27
926
原创 2、ipex-llm(原bigdl-llm)应用聊天
由于load_low_bit不需要读取原始的模型，也省去了优化模型的时间，通常我们可以做一次save_low_bit操作，然后将模型部署在不同平台上用load_low_bit加载并进行多次推理。这种方法既节省了内存，又提高了加载速度。而且，由于优化后的模型格式与平台无关，您可以在各种不同操作系统的计算机上无缝执行保存和加载操作。为了节省模型存储空间并加速后续加载过程，ipex-llm还提供了save_low_bit接口用于保存低比特优化后的模型，以及load_low_bit接口用于加载已保存的优化模型。
2024-04-11 11:13:34
738
原创 解决ERROR: Cannot uninstall ‘TBB‘
强制更新后，依然报错，显示Found existing installation，使用强制卸载，仍然无济于事。此问题为遗留问题bug，官方无法漂亮地解决，所以我们可以手动删除包：llvmlite。稳妥起见，可以不用删除，在Lib\site-packages中找到之后给他改名。最后再执行删除TBB的命令。
2024-04-10 21:13:38
2750
1
原创 解决Can‘t connect to HTTPS URL because the SSL module is not available
把C:\develop\An3\Library\bin的这些文件，复制到C:\develop\An3\DLLs中。
2024-04-10 21:06:07
196
原创 1、IPEX-LLM(原名BigDL-LLM)环境配置
IPEX-LLM 是一个为Intel XPU (包括CPU和GPU) 打造的轻量级大语言模型加速库，在Intel平台上具有广泛的模型支持、最低的延迟和最小的内存占用。您可以使用 IPEX-LLM 运行任何 PyTorch 模型（例如 HuggingFace transformers 模型）。在运行过程中，IPEX-LLM利用了低比特优化技术、现代硬件加速技术，和一系列软件优化技术来自动加速LLM。使用 IPEX-LLM 非常简单。只需更改一行代码，您就可以立即观察到显著的加速效果1。
2024-04-10 20:57:50
927
原创 如何从huggingface上下载模型
现在通过git 的方式已经几乎下载不到huggingface上的东西了。不过我们还可以使用huggingface-cli实现快速下载，以。首先安装huggingface-cli。如图所示，效果还不错。
2023-12-28 14:00:00
897
原创 springboot报错：Error starting ApplicationContext. To display the conditions report re-run your...
在application.properties中添加。
2023-09-26 18:38:37
549
原创 比较 Spark 和 MapReduce 执行迭代应用Pagerank的性能差异
a) MapReduce 执行迭代计算过程中会反复读写 HDFS，因此可以在 HDFS 中观察到每一轮迭代的输出结果。b) MapReduce 会提交一系列的作业，而 spark 仅有一个应用，在 Yarn 的 UI 显示会不一样。c) 对于同样规模的数据集，spark 执行时间应当更短。..................
2022-06-24 16:12:10
664
原创 Spark Transitive Closure
在数学中，集合 X 上的二元关系 R 的传递闭包指的是包含 R 的 X 上的最小的传递关系，记作 t®。 例如，假设集合 X 为人的集合 {a,b,c}，二元关系 R 为父子关系 {,}， 其中 和 分别表示a是b的父亲以及b是c的父亲，则 t® 应为祖宗-后代关系 {,,}。 当前，社保局拿到了一份名单，该名单给出了子女-父母的关系。 社保局想要从该名单中分析出名单中包含的子女-祖父母、外祖父母关系。 然而，名单很庞大，如果手工分析...
2022-06-24 16:09:42
272
原创 Spark Friendship
根据输入文本中的用户关系，找出任意两个用户之间的共同好友。输入格式：输入文本中每行表示一个用户关系，一个用户关系由多个列组成。其中，第一列为用户名，其余列为该用户的好友的用户名，用户名之间用空格分隔。例如，下面第一行表示用户A有B、C、D、E、F五位好友。输出格式: 输出文本的每行表示两个用户的用户名及其所有共同好友的用户名，其中两个用户的用户名按升序字典序进行拼接，所有共同好友的用户名之间以逗号和空格分隔。 例如， 下面第一行表示用户A和C的两个用户的所有共同好友为B、E。在 DSPPCode.spar
2022-06-24 16:07:12
235
原创 Spark Monte Carlo
蒙特卡罗（Monte Carlo）算法计算圆周率的主要思想如下： 给定边长为R的正方形，画其内切圆，然后在正方形内随机打点，设点落在圆内的概为P，则根据概率学原理： P = 落在圆内点的数量/正方形内点的数量 = 圆面积 / 正方形面积 ＝ PI * R * R / 2R * 2R = PI / 4。即 PI=4P。 这样，当随机打点足够多时，统计出来的概率就非常接近于PI的四分之一了。请根据蒙特卡洛思想来估计 Pi 的值。在 DSPPCode.spark.pi 中创建 PiSimulatorImpl,
2022-06-24 16:04:12
205
原创 MapReduce Common PageRank
基于两个输入文本（网页链接关系、初始的网页排名）实现网页链接排名算法（阻尼系数以0.85计算）。 本题对网页排名值的收敛条件做了简化，如果当某一网页当前排名值与上一轮迭代排名值之间差值的绝对值小于1e-6，那么认为该网页的排名值已经收敛。 迭代停止的条件为达到最大迭代次数或某次迭代中所有网页均收敛。 网页总数N在测试阶段由后台自动给出。输入格式：文本中的第一列都为网页名，列与列之间用空格分隔。其中，网页链接关系文本中的其他列为出站链接，如A B D表示网页A链向网页B和D（所有网页权重按1.0计算）初始的
2022-06-24 16:01:59
271
原创 MapReduce Inverted Index
倒排索引是 Elasticsearch 中非常重要的索引结构，是从文档单词到文档 ID 的过程。 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。 由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index) 现实中，倒排索引主要应用于搜索引擎中，用于构建单词到文档的索引，从而能够快速的通过用户的输入查找相关的网页。本题目需要实现构建倒排索引的过程。具体来说，给定一组英文文档，使用空格进行分词
2022-06-24 15:56:01
254
原创 MapReduce Crashed SQL
DASE店铺在开业一周年之际，决定通过以下活动来回馈新老用户，即在过去一年内订单金额前5的订单可以享受八折优惠。Tom是一名SQL开发人员，他为了从历史订单表中找出总金额前五的订单，很轻松地就写出了相应的SQL语句 SELECT id,UserName,SUM(Price) total FROM orders ORDER BY total DESC LIMIT 5; 但海量的订单导致该SQL查询在单机数据库中执行一段时间后就崩溃而无法得到结果，Tom只好求助作为大数据开发工程师的你，希望你能帮他实现该SQL
2022-06-24 15:49:40
252
原创 MapReduce Student Info
某校统计了在校学生的性别和身高数据，现要求对这些数据进行处理以分别计算出男生身高的最大值与男生平均身高的差，女生身高的最小值与女生平均身高的差。输入格式:数据保存在文件中，文件的每行由学生的序号、性别以及身高信息(单位为cm)组成。信息之间用逗号分隔。输出: 请输出性别和对应差值，中间用制表符分隔。请在 DSPPCode.mapreduce.student_info.impl 中创建 StudentInfoMapperImpl 和 StudentInfoReducerImpl, 分别继承 StudentI
2022-06-24 15:45:21
130
原创 算法导论08--优化二叉搜索树、顺序输入和哈希表
一、目的1．熟悉算法设计的基本思想2．掌握计数排序（count sort）的方法二、内容与设计思想有一个公司想开发一个关于花卉的百科全书，用户只要输入花卉的名称，就能够输出花卉的详细信息。花卉包括：牡丹、芍药、茶花、菊花、梅花、兰花、月季、杜鹃花、郁金香、茉莉花、海棠、荷花、栀子花、莲花、百合、康乃馨、玫瑰、格桑花。公司也在试运行阶段发现这些花的访问频率不一，有些花经常性被访问，有些被访问的次数就少很多了。这18种花中，第1种的访问频率是6，第2-3种的访问频率是5，第4-6种的访问频率是4，第7-
2021-11-14 10:46:57
407
原创 算法导论12--Dijkstra算法
一、目的1．熟悉算法设计的基本思想2．掌握最小生成树算法的思路二、内容与设计思想川西风光几枚，以下图片是川西路线图。张三是旅游爱好者，他从成都出发自驾到西藏江达。1）从成都到江达的最短自驾路线是什么？可以用Dijkstra算法来求解。#include<bits/stdc++.h>using namespace std;#define Infinity 65535#define ERROR -1int P[10000];string A[33]={"成都","都江堰","
2021-11-14 10:37:17
740
原创 算法导论11--最小生成树电网长度问题
一、目的1．熟悉算法设计的基本思想2．掌握最小生成树算法的思路二、内容与设计思想国家电网公司想在全国布局超高压输电网络，联通所有省会城市。为了降低成本，并且达到某些硬性要求，国家电网按照以下五种策略进行规划布局。（1）要求整个电网的长度最短。（2）要求在西宁与郑州拉一根直达专线的情况下，使得整个电网长度最短（3）要求不仅在西宁与郑州之间拉直达专线，还在杭州与长沙之间拉直达专线的情况下，使得整个电网长度最短。（4）在香港与澳门、澳门与广州不拉直达线路的前提之下，使得整个电网的长度最短。（5）
2021-11-12 16:38:40
409
原创 算法导论10--零钱找零问题与最优等待问题
一、目的1．熟悉算法设计的基本思想2．掌握贪心算法的思路二、内容与设计思想2.1 最优打印等待问题某个班级有m位同学一起去打印店打印实验报告。这个打印店只有一台打印机。由于各实验报告的厚薄不同，所需打印时间也不相同。同学i需要的打印时间为ti(1<=i<=m)。应该应如何安排这些同学的打印次序使得平均等待时间最小？输入数据格式：在文件students.txt中。第1行是正整数m，表示有m位同学。接下来的一行中有m个正整数，表示m个同学所需要的打印时间。输出数据格式：将最小平均等待时
2021-11-12 16:26:12
794
原创 算法导论09--动态表
一、目的1．熟悉算法设计的基本思想2．掌握Dynamic table的方法二、内容与设计思想有一个公司想开发一个关于花卉的百科全书，用户只要输入花卉的名称，就能够输出花卉的详细信息。花卉包括：牡丹、芍药、茶花、菊花、梅花、兰花、月季、杜鹃花、郁金香、茉莉花、海棠、荷花、栀子花、莲花、百合、康乃馨、玫瑰、格桑花等1000种。这个公司想提升花卉检索和存储效率，打算采用动态表（dynamic table）来实现。由于花卉的数量可能会增加，也可能会减少，所实现的动态表需要有如下功能：能够插入数据能够删
2021-11-12 16:23:15
515
原创 算法导论07--计算最长公共子序列
一、目的1．熟悉算法设计的基本思想2．掌握计算最长公共子序列的方法二、内容与设计思想编写随机整数生成算法，生成0到9范围内的N个随机整数并输出；编写计算最长公共子序列方法的代码；随机生成两组范围为0到9的5、50、500、5000个随机整数，并求两组整数的最长公共子序列随机生成一组范围为0到9的5000个随机整数和另一组范围为0到9的5、50、500、5000个随机整数，并求两组整数的最长公共子序列三、使用环境推荐使用C/C++集成编译环境。四、实验过程1、写出计算最长公共子序列方
2021-11-12 16:19:05
458
原创 算法导论06--红黑树构建算法
一、目的1．熟悉算法设计的基本思想2．掌握构建红黑树的方法二、内容与设计思想编写随机整数生成算法，生成S到T范围内的N个随机整数并输出；编写红黑树构建算法，中序遍历各节点，输出颜色和值；随机生成1e2、1e3、1e4、1e5、1e6个不同的数，使用红黑树构建算法，并画图描述不同情况下的运行时间差异；三、使用环境推荐使用C/C++集成编译环境。四、实验过程1、写出红黑树构建算法的源代码#include<bits/stdc++.h>using namespace std;
2021-11-12 16:17:09
1059
原创 算法导论05--SELECT算法与随机选择算法
一、目的1．熟悉算法设计的基本思想2．掌握随机选择算法（rand select）的方法3．掌握选择算法（SELECT）的方法二、内容与设计思想编写随机整数生成算法，生成S到T范围内的N个随机整数并输出；编写随机选择算法和SELECT算法；随机生成1e2、1e3、1e4、1e5、1e6个数，使用随机选择算法和SELECT算法找到第0.5N大的数输出，并画图描述不同情况下的运行时间差异；随机生成1e6个数，使用随机选择算法和SELECT算法找到第0.2N、0.4N、0.6N、0.8N大的数输出
2021-11-12 16:14:15
1063
原创 算法导论04--计数排序
一、目的1．熟悉算法设计的基本思想2．掌握计数排序（count sort）的方法二、内容与设计思想随机生成1…M范围内的N个整数；编写计数排序算法；在相同M的条件下，N分别等于0.1M, 0.2M, 0.5M, 1M时的运行时间；在相同N的条件下，M分别等于2N，5N，10N，20N时的运行时间。三、使用环境推荐使用C/C++集成编译环境。四、实验过程1、#include<bits/stdc++.h>using namespace std;#define MaxD
2021-11-12 16:11:15
590
原创 算法导论03--堆实现优先级队列
一、目的1．熟悉算法设计的基本思想2．掌握优先级队列的方法二、内容与设计思想利用堆实现优先级队列；按照顺序插入1,3,5,7,9,2,4,6,8,10,11,13,15,12,14，构建优先级队列，打印出整个数组的内容；按照顺序插入9,7,10,12,5,4,2,1,15,14,3,7,8,6,11,13，构建优先级队列，打印出整个数组的内容，并且体会不同输入顺序的情况之下数组内元素排序的差异；随机生成1000、10000、100000、1000000个数，分别构建优先级队列，画图描述不同情
2021-11-12 16:05:29
341
原创 算法导论02--矩阵乘法
一、目的1．熟悉算法设计的基本思想2．掌握Strassen算法的基本思想，并且能够分析算法性能二、内容与设计思想设计一个随机数矩阵生成器，输入参数包括N, s, t；可随机生成一个大小为N*N、数值范围在[s, t]之间的矩阵。编程实现普通的矩阵乘法；编程实现Strassen’s algorithm；在不同数据规模情况下（数据规模N=2^4, 2^8, 2^9, 2^10, 2^11）下，两种算法的运行时间各是多少；思考题：修改Strassen’s algorithm，使之适应矩阵规模N不
2021-11-12 16:03:12
553
原创 算法导论01--插入排序与归并排序
一、目的1．熟悉算法设计的基本思想2．掌握排序算法的基本思想，并且能够分析算法性能二、内容与设计思想设计一个数据生成器，输入参数包括N, s, t, T；可随机生成一个大小为N、数值范围在[s, t]之间、类型为T的数据集合；T包括三种类型（顺序递增、顺序递减、随机取值）#include<iostream>#include<ctime>#include<bits/stdc++.h>using namespace std;int main(){
2021-11-12 15:52:10
115
原创 CSAPPP bomblab实验
https://blog.csdn.net/weixin_44227192/article/details/106982940这篇做的时候忘记记录了，可以参考上面这篇博文，我也不知道有没有用…下面这份答案仅供参考，每个人的答案基本都不一样，重要的是掌握方法，其实就是一些套路1、And they have no disregard for human life.2、0 1 3 6 10 153、0 3934、13 315、((()))6、5 2 1 3 6 4...
2021-07-12 18:08:13
237
原创 Jupyter python2和python3切换以及更换路径
Jupyter中python2和python3的切换这里默认大家都安装的是Anaconda31、安装Anaconda2：推荐使用清华源镜像，选择Anaconda2的最后一个。在之前安装Anaconda3的目录下的envs文件夹中新建一个Anaconda2的文件夹，用来存放上面安装的Anaconda2。2、打开cmd，输入：activate xxxpython -m ipykernel install --user3、输入jupyter notebook，弹出Jupyter，此时只有
2021-07-12 17:52:43
1448
原创 熟悉Minix3.1.2a操作系统的进程管理
一、目的熟悉 Minix 操作系统的进程管理学习 Unix 风格的内存管理二、内容与设计思想修改Minix3.1.2a的进程管理器，改进brk系统调用的实现，使得分配给进程的数据段+栈段空间耗尽时，brk系统调用给该进程 分配一个更大的内存空间，并将原来空间中的 数据复制至新分 配的内存空间，释放原来的内存空间，并通知内核映射新分配的内存段。三、使用环境Minix，Moba四、实验过程1、完成安装minix3.1.2系统并配置相关设置。要先编译Minix再修改内核。2、PM是用户进程，p
2021-07-05 23:15:46
1106
2
原创 测试 RAM 盘和 DISK 盘的文件读写速度
一、目的1.熟悉类 UNIX 系统的 I/O 设备管理2.熟悉 MINIX 块设备驱动3.熟悉 MINIX RAM 盘二、内容与设计思想测试 RAM 盘和 DISK 盘的文件读写速度，分析其读写速度 差异原因（可用图表形式体 现在实验报告中）。三、使用环境Minix，Moba四、实验过程1、增加 RAM 盘： 修改/usr/src/minix/drivers/storage/memory/memory.c ，增加默认的用户 RAM 盘数： RAMDISKS=7。重新编译内核，reboot
2021-07-05 22:55:34
1376
原创 熟悉 MINIX 系统调用和 MINIX 调度器的实现
一、目的巩固操作系统的进程调度机制和策略熟悉 MINIX 系统调用和 MINIX 调度器的实现二、内容与设计思想在 MINIX3 中实现 Earliest-Deadline-First 近似实时调度功能在 MINIX3 中实现 EDF 近似实时调度功三、使用环境VMware，Minix，Moba四、实验过程1、下载源码：cd /usrgit clone git://git.minix3.org/minix srcgit branch –a # 查看代码版本git checkout
2021-07-05 22:50:13
1083
1
原创 cmd运行javac问题
点击控制面板->系统-> 高级系统设置-> 环境变量，新建如下变量：在"用户变量"中设置3项属性，JAVA_HOME，CLASSPATH(不区分大小写)，PATH，若已存在则点击"编辑"，注意用分号与前面的隔开，不存在则点击"新建"。变量设置参数如下：变量名： JAVA_HOME 变量值： (jdk的安装位置)C:\Program Files\Java\jdk1.8.0_281变量名： Path 变量值：%JAVA_HOME%
2021-04-24 21:16:34
174
转载 TCP粘/拆包问题
1、粘包的表现形式(1) 接收端只收到一个数据包，由于TCP是不会出现丢包的，所以这一个数据包中包含了发送端发送的两个数据包的信息，这种现象即为粘包。这种情况由于接收端不知道这两个数据包的界限，所以对于接收端来说很难处理。(2) 这种情况有两种表现形式。接收端收到了两个数据包，但是这两个数据包要么是不完整的，要么就是多出来一块，即有一个包被截断了。这两种情况如果不加特殊处理，对于接收端同样是不好处理的。2、粘包/拆包发生的原因发生TCP粘包或拆包有很多原因，现列出常见的几点：1、要发送的数据大于T
2021-04-17 21:12:33
81
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人