- 博客(29)
- 资源 (6)
- 收藏
- 关注
原创 1. Tensorrt-llm 基础
修改/usr/local/lib/python3.10/dist-packages/tensorrt_llm/quantization/quantize.py。其中exclusive 为不想量化的decode block。转换huggince face 模型为checkpoint。同样exclusive_modules 为不想量化的层。注意: cuda 版本不必和宿主机cuda 版本一致。可以看出放弃最后几层的量化是对模型精度有略微提升的。注意:截至2024年6月建议安装0.10.0。
2024-06-27 22:28:39 1238
原创 [system] process vs thread
结论:1 一个核心在某一时刻(at) 只能执行一个线程 ==>(充分)一个核心在某一时刻只能执行一个进程。2.一个核心某一段时间(in)可执行多个进程 ==> (充分) 一个核心在某一段时间可执行多个线程。概念:并发:cpu一个或多个核心在某一段时间执行多个进程。并行: cpu多个核心在某一时刻执行多个线程,无论线程是否属于一个进程。Tips:intel core 系列处理器开始每个核心有读享的Cache和MMU 才实现了并行。...
2021-03-28 15:09:38 176
原创 【公开课】Tencent U 图 Medical image 笔记
问题: 脑卒中图像数据分类脑卒中数据集: BraST, MRBrainS, Hippocampus(MRI, 1759), Brain Hemarhage, BraTS20181. 基于深度学习的医学影像算法开发难点a. 数据(MRI, CT) 难以获取。b. 标注十分昂贵c. 由b 导致的标注数据过少,无法有效的训练深度学习网络。2. 迁移学习是个问题, 不可行a. 用FCN: 对图像进行分块,在放入FCN 训练,预训练encoder 部分。b. 由于数据集格式多样..
2021-03-12 14:59:39 377
原创 imagenet download and train
#imagenet downloadand trainreference :https://www.cnblogs.com/luruiyuan/p/12373328.html#1. download dataset#1.1 Download Torrent.validation datasethttp://academictorrents.com/download/5d6d0df7ed81efd49ca99ea4737e0ae5e3a5f2e5.torrenttrain datase..
2021-02-27 20:59:43 1519 2
原创 ubuntu16.04 + Cuda10.0 + Cudnn7.4 + tfgpu1.15
Cuda and Cudnn installVersionubuntu 16.04 x86_64TF: 1.15.0-gpuCuda:9.0cudnn 7.5tf 1.15 + cuda 10.2 + cudnn 7.6 may also be fine.CudaPress " ctrl+alt+f1 " to enter command mode.1 Forbidden nouveaublacklist nouveauoptions nouveau modeset=0update-
2021-02-10 15:08:28 290
原创 2021-01-23 linear regression 梯度下降的一点思考
用梯度下降法对线性函数训练。的一点思考y = k * x _ bgiven x = 3 , y = 0.64k ,b的初始值和each epoch 训练值如下:k , b : 0.1707537467836899 0.2802512489278963k , b : 0.16160299742695194 0.277200999142317k , b : 0.15428239794156157 0.27476079931385355k , b : 0.148425918...
2021-01-23 20:08:43 130
原创 KKB_python_scratch_framework_sumup_lesson1
Review1. Corralation, salient featureCOV(X,Y) = E(X-E(X)*(Y-E(Y)))r(X,Y) = COV(X,Y)/(STD(X)*STD(Y)) == CORR2. Machine Learning2.1 Computational intelligence2.2 Perceptual intelligence2.3 Cognitive intelligence3. K-Neighbor-Nearest(Lazy learning)i
2021-01-17 01:31:10 271
原创 Word Embedding Preparation 1: From Hard-code to NNLM
algorithm->machine learning->nlp->word embeddingAbstracthard encodeBag of Wordonehot embedding1. Hard-codedWord is represent by ID. IDs arejust symbolic data.For example Enum, unicode stringCons Hard-code...
2020-12-17 00:58:09 207
原创 Word embedding Preparation 2: Word2Vec
Word2VecAbstractThe similar structure as NNLM, bug focus on Word EmbeddingTwo learning approach: Continuous Bag of Word(CBOW) Continuous Skip-gram(Skip-gram)1. CBowGiven its context wi-N, wi-n+1,wi-n+2...
2020-12-17 00:56:30 119
原创 Word Embedding Preparation 5. BERT
BERTPublished by Google in 2018 Bidirectional Encoder Representation from Transformers Two Phrases: Pre-training, fine-turning Use Transformer proposed in Attention Is All You Need by Google 2017 to replace RNN BERT takes advantages of multiple mode.
2020-12-17 00:55:56 107
原创 Word Embedding Preparation 4: ElMo
ElMoPublished in 2018 and named as Embedding from language Models Deep contextualized word representations that models complex characteristics of word use and how these uses vary across linguistic contexts. It enables models to better disambiguate betw
2020-12-17 00:55:26 101
原创 Word Embedding Preparation 3. Glove
GloveGlobal Vectors for word Representation. Same model as Word2Vec Trainning is performed on aggregated global word-word. co-occurence statistics from a corpus. Must be trained offline.
2020-12-17 00:15:48 94
原创 gdb files with same name.
1)Brief introductionWhen we have two files with same, i.e.*/src/search.cpp & */util/search.cpp.If we set break point in serach.cpp. The break point will be valid in both.When the program is running, it will stop at the break point where it run...
2020-08-30 00:08:02 120
原创 vscode 错误 g++ “‘-Wall‘“ not such file and directory
今天在windows 尝试使用vscode使用g++ 编译结果总是出现 error g++ " '-Wall' " not such file and directory 错误。后来搞不定就没管它。查了下stackoverflow 的网站,得到一些启发。原来是 符号写错了。下面用红色标出。"label":"g++.exebuildactivefile",//任务的名字叫Build,注意是大小写区分的,等会在launch中调用这个名字...
2020-07-24 22:52:05 889
原创 np.min np.amin np.minimum
首先说下axis . 直观的理解为当axis = n,时, 在n这个维度观察数据,比如n是列,则取一列,求最小值,然后在其他维度循环这样的操作。或者也可以理解为axis=n,则原始数据第n维为也就是shape[n] = 1, 其他维不变,axis = m,n,等价于先m,再n 操作,或者理解为m,n维为1 其他维度不变。np.amin()当输入是不一定是numpy.array 时,用np...
2019-12-07 14:23:02 4193
原创 lenet-5 各层分析
1.首先确定一下,CNN 和 DNN 最大的区别只有局部连接和权值共享。其他任何的变化都可以归为这两点。2.声明几个符号IH input高IW input宽OH output 高OW ouput 宽IC input channelOC output channelF 卷积核高和宽P input paddingS 滑动步长3 网络结构Input -&...
2019-11-26 22:13:00 776
原创 肌肉活动电信号推测手势竞赛总结
肌肉活动电信号推测手势竞赛总结1. 训练集loss 比测试集 loss 高是为什么?是因为做了数据增强。如对标签做smooth 处理。2. 如果test set 比 validation set 的 accurancy 小很多怎么办?1) 那么检查 数据预处理是否一致。2) 增加训练迭代次数,如下图 epoch = 150 的时候还不稳定,到200的时候就稳定了。...
2019-11-23 22:55:44 415
原创 Tensorflow transpose code analysis
1. TF usagehttps://github.com/tensorflow/tensorflow/blob/r1.14/tensorflow/python/ops/array_ops.py#L1651-L1739 15941.1 Introductiontranspose@compatibility(numpy) In `numpy` transposes are me...
2019-11-22 17:42:50 434
原创 神经网络激活函数的意义
看这个视频,突然领悟到 激活函数物理意义,其实就是让一团数据,某个线性变换后,做一个揉捻的动作。然后所有数据可以有序的映射到1维空间。比如relu 就是把小于0的捏平。为什么要捏平呢 , 可能数据有很多凸起, 或者蘑菇状态的凸起,只有把这些凸起按下去,才能减少数据之间投影后的相互遮挡。当然可能需要不停的线性变换,把一些错误的突起部分压平,再做线性变换把另一些突起压平。最后数据团分布在了一个有序的空...
2019-11-07 17:00:39 378
原创 keras 学习,AttributeError: module 'tensorflow.python.keras.backend' has no attribute 'get_graph'
code:import keraserror : get_graph = tf_keras_backend.get_graphAttributeError: module 'tensorflow.python.keras.backend' has no attribute 'get_graph'explain:这种错误是因为python tensorflow kera...
2019-10-25 22:28:57 3835
原创 keras bug AttributeError: module 'tensorflow.python.keras.backend' has no attribute 'get_graph'
code:import keraserror : get_graph = tf_keras_backend.get_graphAttributeError: module 'tensorflow.python.keras.backend' has no attribute 'get_graph'explain:这种错误是因为python tensorflow kera...
2019-10-25 22:27:37 1404
原创 tf.placeholder 怎么申请内存的
1 tf.placeholder 是不申请内存的,它指向的feed_dict={input1:rand_array} 中rand_array的内存.比如下面的代码import numpy as npimport tensorflow as tfinput1 = tf.placeholder(tf.int8, [4*1024, 1024, 1024])input2 = tf.place...
2019-10-22 22:59:30 148
原创 关闭代理方法一 curl:7()Failed to connect to 127.0.0.1
env|grep -i proxyNO_PROXY=localhost,127.0.0.0/8,::1http_proxy=http://127.0.0.1:45463/HTTPS_PROXY=http://127.0.0.1:45463/https_proxy=http://127.0.0.1:45463/no_proxy=localhost,127.0.0.0/8,::1...
2019-08-30 11:38:03 8707 2
原创 float 型变量与 -0.0 做异或运算结果是取反
/ sum-of-square * theta, use this trick to avoid a divisiont = _mm_mul_ps(_mm_sqrt_ps(_s), _mm_set_ps1(theta)); // float theta = 2 / sqrt(float(dim)); //r0 := r1 := r2 := r3 := w// - sum-of-square...
2019-08-30 11:35:44 1500
原创 tensorflow transpose 的c 实现
1.Tensorflow 的 transpose 调用的是 eigen 库的 tensor类的 tensor.shuffle2.3.Eigen 库中tensor.shuffle 中最核心的代码是下面这样的。没有进行内存搬运,而是修改了几个tensor 的成员变量最重要的是修改了m_inputStrides 这个成员变量。EIGEN_DEVICE_FUNC EIGEN_STR...
2019-08-13 11:26:02 763
原创 有符号二进制数乘法 Signed Binary Number Multiplication
在汇编乘法中,32位数字与32位数字相乘,只能是用四次16位相乘表示。即,int32(a)* int32(b) = (h16(a)+l16(a)) * (h16(b) + l16(b)) 。现在我们讨论下 h16(a) 和 l16(a) 的符号情况如果a 为负数, a的31 位, a31 = 1那么a = (-a31)* 2^31 + a30 * 2^30 + a29 * 2...
2019-06-12 15:13:29 3285
原创 Jupyter Notebook Config
1. open a terminal and type > "jupyter notebook --generate-config"2. type> "jupyter notebook password ", and type your password twice.3 open the file ~/.jupyter/jupyter_notebook_config...
2019-03-06 18:15:20 535
原创 Face Alignment at 3000 FPS via Regressing Local Binary Features(CVPR2014)读后感(first pass)
这篇文章还是通过拟合
2018-05-30 11:32:54 14711 23
ffmpeng 视频解码器 安装解码支持库
2015-01-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人