- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 打造高性能大模型推理平台之Prefill、Decode分离系列（一）：微软新作SplitWise，通过将PD分离提高GPU的利用率哆啦不是梦
由上图可以看到Prefill和Decode时延都会随着token的数量增多而增多，而（c）更可以看出在E2E（end-to-end）的时延中，TTFT（Prefill阶段）时延仅占一小部分，尤其在Conversation中可以看到，只产生129个tokens所花的时间都比处理1020个Prefill的token时间多的多。可以看到这两个阶段的特征完全不同，即便使用很好的batching技术，也无法解决两个如此明显不同阶段所带来的问题，比如：由于硬件资源利用不足，使得为用户提供服务将产生更高的花费。
2024-06-05 22:37:38
5375
原创 完美解决：Could not find a version that satisfies the requirement cv2 (from versions: )
问题在python中安装cv2库是提示不能找到满足需要的版本在终端输入pip install cv2就会出现以上问题解决方法在终端输入以下代码来代替上面的代码就可以啦pip install opencv-python...
2020-04-02 21:09:50
1883
原创 sklearn报错：Expected 2D array, got 1D array instead
背景使用sklearn时会报错ValueError: Expected 2D array, got 1D array instead原因这是因为在新版的sklearn中要求所有的数据都应该是二维矩阵，所以当数据是单独的一行或者一列时，要将其修改成二维。解决方法使用.reshape(1,-1)即可x = [1,2,3]x_new = np.array(x).reshap...
2020-03-30 18:07:49
1279
原创 Jupyter中用matplotlib 画图中文显示为方框的解决方法
背景mac操作系统，jupyter问题用matplotlib 画图中文显示为方框解决方法1.下载SimHei字体2.将下载好的字体添加到matplotlib的字体文件夹中找到该文件夹路径的方法：运行如下代码， 先找到 matplotlib的路径import matplotlibprint(matplotlib.matplotlib_fname())我的路径...
2020-03-29 23:35:03
3354
2
原创 用Python批量修改图片尺寸
大家注册的时候肯定遇到过要求图片尺寸的情况，可以用Python完美解决哦～#批量修改尺寸import osfrom PIL import Imagedir_img="./imgs/"dir_save="./imgs_resize/"size=(400,400)#获取目录下所有图片名list_temp = os.listdir(dir_img)list_img = list_...
2020-03-29 17:36:57
1044
原创 成功解决TypeError: only integer scalar arrays can be converted to a scalar index
问题描述：在打乱列表中的元素时产生以下问题：TypeError: only integer scalar arrays can be converted to a scalar index只有整数标量数组才能转换为标量索引。问题解决错误代码为data = ['I','love','you']shuffle_index = np.random.permutation(np...
2020-03-20 20:06:11
3023
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人