SimonChenHere
PhD Candidate,计算机本,人工智能硕,网络安全博。
展开
-
[2024-06]-[大模型]-[huggingface] 国内优雅的下载huggingface的模型与数据集
官方的 huggingface-cli 缺乏多线程下载支持,以及 hf_transfer 错误处理不足的问题,而且要求很稳定的梯子,我之前使用经常下载一会就失败了。需要使用hfd.sh脚本,下载连接是,欢迎fork and star!原创 2024-06-12 18:29:16 · 502 阅读 · 0 评论 -
[2024-06]-[大模型]-[Ollama]- unsloth大模型微调,并导入ollama
https://github.com/JieChenSimon/LLMLearningCourse/blob/main/Simonchen_Llama_3_8b_Unsloth_2x_faster_finetuning.ipynb可以下载运行。强烈推荐使用其推荐的Google Colab进行微调,因为其中涉及比较麻烦网络原因,即使网络搞定了,还考虑网络连接质量,一样会失败。截止2024年6月,unsloth只能使用单个GPU进行微调,这个比较不方便。直接点击对应模型的的start for free。原创 2024-06-11 11:53:07 · 514 阅读 · 0 评论 -
技术解决方案整合
原创 2020-04-30 16:36:29 · 7410 阅读 · 0 评论 -
[2024-06]-[大模型]-[Ollama]- WebUI
主要涉及要部署的前端webui是来源于:https://github.com/open-webui/open-webui运行就好,依赖于docker,这个是ollama和webui需要同一台机器上。之后通过127.0.0.1:3000访问,这个3000端口安装需要可以改变。其余的webui和ollama需要不同的设备上,就用项目里的其余命令。如果还是操作有问题,参考。原创 2024-06-11 11:17:17 · 450 阅读 · 0 评论 -
[2024-06]-[大模型]-[Ollama] 0-相关命令
常用的ollama命令原创 2024-06-11 11:02:42 · 591 阅读 · 4 评论 -
[2024-06]-[大模型]-[DEBUG]- ollama webui 11434 connection refused
ERROR:apps.ollama.main:Connection error: Cannot connect to host host.docker.internal:11434 ssl:default [Connection refused]原创 2024-06-10 15:46:17 · 807 阅读 · 0 评论 -
实验室深度环境配置指南
代码】实验室深度环境配置指南。原创 2022-08-05 18:22:01 · 619 阅读 · 0 评论 -
AttributeError: ‘SMOTE’ object has no attribute ‘fit_sample’
# 包下载pip install imblearn# 调用from imblearn.over_sampling import SMOTE# 使用SMOTE进行过采样时正样本和负样本要放在一起,生成比例1:1smo = SMOTE(n_jobs=-1)# 这里必须是fit_resample(),有些版本是fit_sample()无法运行x_sampling, y_sampling = smo.fit_resample(train_x_data, train_y_data)...原创 2022-04-23 14:37:36 · 7927 阅读 · 0 评论 -
无法安装 torch-sparse
Collecting torch-sparse Using cached torch_sparse-0.6.0.tar.gz (29 kB)Requirement already satisfied: scipy in c:\users\caleb\anaconda3\envs\graphstar\lib\site-packages (from torch-sparse) (1.4.1)Requirement already satisfied: numpy>=1.13.3 in c:\use原创 2021-07-06 19:08:03 · 1051 阅读 · 0 评论 -
在一个IPython Notebook单元中显示多个图像?
https://qastack.cn/programming/19471814/display-multiple-images-in-one-ipython-notebook-cell原创 2021-07-03 20:27:26 · 377 阅读 · 0 评论 -
使用PIL库使用文本生成图片(类验证码)
#notebookfrom PIL import Image, ImageDraw, ImageFont!wget -nc http://labfile.oss.aliyuncs.com/courses/1133/Coval-Black.ttf#生成指定单词的验证码%matplotlib inlineimport matplotlib.pyplot as pltimport numpy as npfrom skimage import transform as tfdef creat_ca原创 2021-07-03 20:26:46 · 243 阅读 · 0 评论 -
机器学习代码练习
https://zhuanlan.zhihu.com/p/93708197原创 2021-07-03 13:31:02 · 224 阅读 · 0 评论 -
No modules named ‘tensorflow.compat.v2‘
出现这个问题就说明。tensorflow的版本有问题,tf.compat.v2 module was added in 1.14. Upgrade to 1.14 , 1.15, or 2.0and this will work fine.!pip install tensorflow==1.15import tensorflow.compat.v2 as tf原创 2021-06-25 18:54:27 · 9349 阅读 · 0 评论 -
知识点背诵
tensorflow2.01. batch是啥?为什么要有batch?在现实情况中,由于数据集都非常大,内存没办法一次性的读取进来,所以将其分成一个一个的batch原创 2020-11-08 10:22:19 · 212 阅读 · 0 评论 -
tf.data.Dataset.shuffle(buffer_size)中buffer_size的理解
参考链接原创 2020-09-17 09:57:22 · 1162 阅读 · 0 评论 -
10 tf.data模块
1.tf.data模块有什么用基于 tf.data API,我们可以使用简单的代码来构建复杂的输入,tf.data API 可以轻松处理大量数据、不同的数据格式以及复杂的转换。2. tf.data.Dataset3.如何创建tf.data.Dataset4.关于Dataset的知识一个 Dataset 对象包含多个元素,每个元素的结构都 相同。每个元素包含一个或多个 tf.Tensor 对象,这些 对象被称为组件。Dataset 的属性由构成该 Dataset 的元素的属性映射得到原创 2020-09-16 15:33:08 · 230 阅读 · 0 评论 -
如何判断过拟合和欠拟合
当过拟合:在训练数据上的得分很高,在测试数据上得分相对比较低。欠拟合:在训练数据上得分比较低,在测试数据上得分相对低。原创 2020-06-21 22:59:48 · 5750 阅读 · 0 评论 -
反向传播和梯度下降的区分
梯度下降 是 找损失函数极小值的一种方法,反向传播 是 求解梯度的一种方法。> https://segmentfault.com/a/1190000019862084原创 2020-06-14 00:46:52 · 4326 阅读 · 0 评论 -
梯度下降优化算法综述
https://blog.csdn.net/google19890102/article/details/69942970原创 2020-06-14 00:14:18 · 180 阅读 · 0 评论 -
learning rate 学习速率
**在具体实践中,可通过查看损失函数值随时间的变化曲线,来判断学习速率的选取是合适的。****合适的学习速率,损失函数随时间下降,直到一个底部不合适的学习速率,损失函数可能会发生震荡。**...原创 2020-06-13 22:24:12 · 373 阅读 · 0 评论 -
梯度下降
沿着损失函数减小的方向移动,并再次计算梯度值,并重复上述过程,直至梯度的模为0,将到达损失函数的极小值点。这正是我们的目标原创 2020-06-13 22:09:31 · 121 阅读 · 0 评论 -
抑制过拟合的方法
首先必须明确,抑制过拟合的最好方法是增加训练数据,以下方法都是不能增加训练数据时候的辅助措施。原创 2020-06-13 20:49:36 · 636 阅读 · 0 评论 -
softmax多分类 整数编码
import matplotlib.pyplot as pltimport gzipimport numpy as npimport tensorflow as tfdef load_data(path,files): paths = [path+ each for each in files ] with gzip.open(paths[0], 'rb') as lbpath: train_labels = np.frombuffer(lbpath.read()原创 2020-06-12 02:00:04 · 260 阅读 · 0 评论 -
softmax多分类 onehot编码
import matplotlib.pyplot as pltimport gzipimport numpy as npimport osimport tensorflow as tfimport tensorflow.compat.v1 as tftf.disable_v2_behavior()import osos.environ[“CUDA_DEVICE_ORDER”] = “PCI_BUS_ID”os.environ[“CUDA_VISIBLE_DEVICES”] = “1”pr原创 2020-06-12 01:56:47 · 1200 阅读 · 0 评论 -
TENSORFLOW 指定使用GPU跑
#指定第4张import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"] = "3"或import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"] = "0,2,3" ,这样就指定了第1,3,4,张卡跑...原创 2020-06-12 01:55:35 · 1607 阅读 · 1 评论 -
Keras中的两种模型:Sequential和Model
在Keras中有两种深度学习的模型:序列模型(Sequential)和通用模型(Model)。差异在于不同的拓扑结构。序列模型 Sequential序列模型各层之间是依次顺序的线性关系,模型结构通过一个列表来制定。from keras.models import Sequentialfrom keras.layers import Dense, Activationlayers = [Dense(32, input_shape = (784,)), Activatio.原创 2020-06-11 21:33:48 · 4809 阅读 · 0 评论 -
keras中Dense()和Flatten()不同
#Dense 是将一个一维的数据映射到另一个一维的数据,二维的数据不能直接进行Dense运算Flatten层用来将输入“压平”,即把多维的输入一维化,常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。...原创 2020-06-11 21:26:41 · 10962 阅读 · 0 评论 -
解释logistic回归为什么要使用sigmoid函数
原创 2020-06-11 14:40:37 · 1455 阅读 · 0 评论 -
逻辑回归之,sigmoid ,交叉熵
=============================================================================================线性回归预测的是一个连续值,这个是十分明显。而逻辑回归给出的“是”和“否”的回答,是因为输入值经过乘以权重和加上偏差(线性回归的过程)之后得到的特征值,还需要通过一个非线性的激活函数,如sigmoid函数。在进入激活函数运算之后(咦sigmoid函数为例),原来的值会落在0-1之间,当最终的值<0时,逻辑回归输.原创 2020-06-11 00:38:39 · 343 阅读 · 0 评论 -
平方差和交叉熵损失函数分别用在哪些场景?
原创 2020-06-11 00:32:39 · 617 阅读 · 1 评论 -
激活函数
**如果在最后输出之前,不使用激活函数,不管你用多少层,都是一个线性的问题,因为之前做的都是乘法和加法等操作。不加激活函数的话是拟合不出高阶的输出的。**原创 2020-06-10 14:50:58 · 150 阅读 · 0 评论 -
线性回归(单神经元,多神经元)和多层感知机(多个神经元)对比
下面的图是1层有多个神经元,但是只有一层,没有达到深度学习的“要求”。下图是两层,相对比于线性回归的单层多个神经元和没有层只有一个神经元的模型,深了一些。所以下图的模型就叫做多层感知器。...原创 2020-06-10 14:31:49 · 1136 阅读 · 0 评论 -
区分三个概念:Epoch, Batch, Iteration
https://www.jianshu.com/p/22c50ded4cf7原创 2020-06-03 02:41:14 · 238 阅读 · 0 评论 -
TensorFlow相关工具
TensorFlow游乐场是一个通过网页浏览器就可以训练简单神经网络 并实现了可视化训练过程的工具http://playground.tensorflow.org/原创 2020-06-01 12:41:56 · 201 阅读 · 0 评论 -
TensorFlow书籍
《TensorFlow实战》与《TensorFlow实战Google深度学习框架》对比认识原文链接:https://blog.csdn.net/h4565445654/article/details/71241836https://blog.csdn.net/h4565445654/article/details/71241836原创 2020-06-01 11:50:52 · 274 阅读 · 0 评论 -
tensorflow has no attribute logging
AttributeError: module ‘tensorflow’ has no attribute ‘logging’这样是因为tf2里面去掉了这个,目前我采用的方法只是单纯的降级。如果有其他的简单方法,欢迎告知tf.logging was for Logging and Summary Operations and in TF 2.0 it hasbeen removed in favor of the open-source absl-py, and to make the maintf原创 2020-05-21 16:52:28 · 4033 阅读 · 1 评论 -
Google:2-1 tfkeras简介
原创 2020-05-05 18:37:03 · 154 阅读 · 0 评论 -
9.6.1 三维数据可视化之曲面图
import matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dimport numpy as np#主要使用的是ax3d.plot_surface()x = np.arange(-5,5,0.1)y = np.arange(-5,5,0.1)X , Y = np.meshgrid(x, y)Z = np.s...原创 2020-05-05 18:06:15 · 5272 阅读 · 0 评论 -
9.6.1 三维数据可视化之平面图
import matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dimport numpy as npx = np.arange(1,5)y = np.arange(1,5)X , Y = np.meshgrid(x, y)Z = 2 * X + Yfig = plt.figure()ax3d = Ax...原创 2020-05-05 17:42:29 · 1021 阅读 · 0 评论 -
9.6.1 三维数据可视化之散点图
import matplotlib.pyplot as pltfrom mpl_toolkits.mplot3d import Axes3Dimport numpy as np# mplot3d工具集# 绘制三维图形# 内置于Matplotlib# Figure对象# Axes3d对象x = np.random.uniform(10,40.30)y = np...原创 2020-05-05 17:40:42 · 4543 阅读 · 0 评论