Qwen2-VL部署pydantic.errors.PydanticSchemaGenerationError: Unable to generate pydantic-core schema for

已于 2024-09-12 11:23:16 修改
阅读量464 收藏 5
点赞数 4
文章标签： 人工智能 数据库 算法
于 2024-09-12 11:14:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blink182007/article/details/142165489
版权

 部署阿里云团队的Qwen2-VL大模型发生报错如下：

模型为GPTQ-int8     计算卡为P40Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int8 · Hugging Faceicon-default.png?t=O83Ahttps://huggingface.co/Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int8

 虚拟环境各py包如下：

(qwen2vl) PS C:\Users\Administrator> pip list
Package                       Version
----------------------------- ------------
accelerate                    0.34.2
aiofiles                      23.2.1
aiohappyeyeballs              2.4.0
aiohttp                       3.10.5
aiosignal                     1.3.1
altair                        5.4.1
annotated-types               0.7.0
anyio                         4.4.0
async-timeout                 4.0.3
attrs                         24.2.0
auto_gptq                     0.7.1+cu118
autoawq                       0.2.6
autoawq_kernels               0.0.7
av                            13.0.0
certifi                       2024.8.30
charset-normalizer            3.3.2
click                         8.1.7
colorama                      0.4.6
coloredlogs                   15.0.1
contourpy                     1.3.0
cycler                        0.12.1
datasets                      2.21.0
dill                          0.3.8
einops                        0.8.0
exceptiongroup                1.2.2
fastapi                       0.114.1
ffmpy                         0.4.0
filelock                      3.13.1
fonttools                     4.53.1
frozenlist                    1.4.1
fsspec                        2024.2.0
gekko                         1.2.1
gradio                        4.29.0
gradio_client                 0.16.1
h11                           0.14.0
httpcore                      1.0.5
httpx                         0.27.2
huggingface-hub               0.24.6
humanfriendly                 10.0
idna                          3.8
importlib_resources           6.4.5
intel-openmp                  2021.4.0
Jinja2                        3.1.3
jsonschema                    4.23.0
jsonschema-specifications     2023.12.1
kiwisolver                    1.4.7
markdown-it-py                3.0.0
MarkupSafe                    2.1.5
matplotlib                    3.9.2
mdurl                         0.1.2
mkl                           2021.4.0
mpmath                        1.3.0
multidict                     6.1.0
multiprocess                  0.70.16
narwhals                      1.6.4
networkx                      3.2.1
ninja                         1.11.1.1
numpy                         1.26.3
optimum                       1.22.0
orjson                        3.10.7
packaging                     24.1
pandas                        2.2.2
peft                          0.12.0
pillow                        10.2.0
pip                           24.2
protobuf                      5.28.0
psutil                        6.0.0
pyarrow                       17.0.0
pydantic                      2.9.1
pydantic_core                 2.23.3
pydub                         0.25.1
Pygments                      2.18.0
pyparsing                     3.1.4
pyreadline3                   3.4.3
python-dateutil               2.9.0.post0
python-multipart              0.0.9
pytz                          2024.2
PyYAML                        6.0.2
qwen-vl-utils                 0.0.2
referencing                   0.35.1
regex                         2024.7.24
requests                      2.32.3
rich                          13.8.1
rouge                         1.0.1
rpds-py                       0.20.0
ruff                          0.6.4
safetensors                   0.4.5
semantic-version              2.10.0
sentencepiece                 0.2.0
setuptools                    72.1.0
shellingham                   1.5.4
six                           1.16.0
sniffio                       1.3.1
starlette                     0.38.5
sympy                         1.12
tbb                           2021.13.1
tokenizers                    0.19.1
tomlkit                       0.12.0
torch                         2.3.1+cu118
torchaudio                    2.3.1+cu118
torchvision                   0.18.1+cu118
tqdm                          4.66.5
transformers                  4.45.0.dev0
transformers-stream-generator 0.0.4
typer                         0.12.5
typing_extensions             4.12.2
tzdata                        2024.1
urllib3                       2.2.2
uvicorn                       0.30.6
websockets                    11.0.3
wheel                         0.43.0
xxhash                        3.5.0
yarl                          1.11.1
zstandard                     0.23.0

发生报错具体如下:

(qwen2vl) PS D:\3\Qwen2-VL-main> python web_demo_mm.py
Unrecognized keys in `rope_scaling` for 'rope_type'='default': {'mrope_section'}
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\exllama.py:12: UserWarning: AutoAWQ could not load ExLlama kernels extension. Details: DLL load failed while importing exl_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load ExLlama kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\exllamav2.py:13: UserWarning: AutoAWQ could not load ExLlamaV2 kernels extension. Details: DLL load failed while importing exlv2_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load ExLlamaV2 kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\gemm.py:14: UserWarning: AutoAWQ could not load GEMM kernels extension. Details: DLL load failed while importing awq_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load GEMM kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\gemv.py:11: UserWarning: AutoAWQ could not load GEMV kernels extension. Details: DLL load failed while importing awq_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load GEMV kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\gemv_fast.py:10: UserWarning: AutoAWQ could not load GEMVFast kernels extension. Details: DLL load failed while importing awq_v2_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load GEMVFast kernels extension. Details: {ex}")
CUDA extension not installed.
CUDA extension not installed.
`Qwen2VLRotaryEmbedding` can now be fully parameterized by passing the model config through the `config` argument. All other arguments will be removed in v4.46
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\transformers\modeling_utils.py:4732: FutureWarning: `_is_quantized_training_enabled` is going to be deprecated in transformers 4.39.0. Please use `model.hf_quantizer.is_trainable` instead
  warnings.warn(
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:06<00:00,  2.30s/it] 
Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.
ERROR:    Exception in ASGI application
Traceback (most recent call last):
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\type_adapter.py", line 270, in _init_core_attrs
    self._core_schema = _getattr_no_parents(self._type, '__pydantic_core_schema__')
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\type_adapter.py", line 112, in _getattr_no_parents
    raise AttributeError(attribute)
AttributeError: __pydantic_core_schema__

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\uvicorn\protocols\http\h11_impl.py", line 406, in run_asgi
    result = await app(  # type: ignore[func-returns-value]
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\uvicorn\middleware\proxy_headers.py", line 70, in __call__
    return await self.app(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\applications.py", line 1054, in __call__
    await super().__call__(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\applications.py", line 113, in __call__
    await self.middleware_stack(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\middleware\errors.py", line 187, in __call__
    raise exc
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\middleware\errors.py", line 165, in __call__
    await self.app(scope, receive, _send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\gradio\route_utils.py", line 713, in __call__
    await self.simple_response(scope, receive, send, request_headers=headers)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\gradio\route_utils.py", line 729, in simple_response
    await self.app(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\middleware\exceptions.py", line 62, in __call__
    await wrap_app_handling_exceptions(self.app, conn)(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\_exception_handler.py", line 62, in wrapped_app
    raise exc
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\_exception_handler.py", line 51, in wrapped_app
    await app(scope, receive, sender)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\routing.py", line 715, in __call__
    await self.middleware_stack(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\routing.py", line 735, in app
    await route.handle(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\routing.py", line 288, in handle
    await self.app(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\routing.py", line 76, in app
    await wrap_app_handling_exceptions(app, request)(scope, receive, send)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\_exception_handler.py", line 62, in wrapped_app
    raise exc
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\_exception_handler.py", line 51, in wrapped_app
    await app(scope, receive, sender)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\starlette\routing.py", line 73, in app
    response = await f(request)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\routing.py", line 291, in app
    solved_result = await solve_dependencies(
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\dependencies\utils.py", line 639, in solve_dependencies
    ) = await request_body_to_args(  # body_params checked above
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\dependencies\utils.py", line 813, in request_body_to_args
    fields_to_extract = get_cached_model_fields(first_field.type_)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\_compat.py", line 657, in get_cached_model_fields
    return get_model_fields(model)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\_compat.py", line 284, in get_model_fields
    return [
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\_compat.py", line 285, in <listcomp>
    ModelField(field_info=field_info, name=name)
  File "<string>", line 6, in __init__
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\fastapi\_compat.py", line 110, in __post_init__
    self._type_adapter: TypeAdapter[Any] = TypeAdapter(
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\type_adapter.py", line 257, in __init__
    self._init_core_attrs(rebuild_mocks=False)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\type_adapter.py", line 135, in wrapped
    return func(self, *args, **kwargs)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\type_adapter.py", line 277, in _init_core_attrs
    self._core_schema = _get_schema(self._type, config_wrapper, parent_depth=self._parent_depth)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\type_adapter.py", line 95, in _get_schema
    schema = gen.generate_schema(type_)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 655, in generate_schema
    schema = self._generate_schema_inner(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 908, in _generate_schema_inner
    return self._annotated_schema(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 2028, in _annotated_schema
    schema = self._apply_annotations(source_type, annotations)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 2107, in _apply_annotations
    schema = get_inner_schema(source_type)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_schema_generation_shared.py", line 83, in __call__
    schema = self._handler(source_type)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 2189, in new_handler
    schema = metadata_get_schema(source, get_inner_schema)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 2185, in <lambda>
    lambda source, handler: handler(source)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_schema_generation_shared.py", line 83, in __call__
    schema = self._handler(source_type)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 2088, in inner_handler
    schema = self._generate_schema_inner(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 929, in _generate_schema_inner
    return self.match_type(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 1029, in match_type
    return self._match_generic_type(obj, origin)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 1058, in _match_generic_type
    return self._union_schema(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 1378, in _union_schema
    choices.append(self.generate_schema(arg))
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 655, in generate_schema
    schema = self._generate_schema_inner(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 929, in _generate_schema_inner
    return self.match_type(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 1038, in match_type
    return self._unknown_type_schema(obj)
  File "D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\pydantic\_internal\_generate_schema.py", line 558, in _unknown_type_schema
    raise PydanticSchemaGenerationError(
pydantic.errors.PydanticSchemaGenerationError: Unable to generate pydantic-core schema for <class 'starlette.requests.Request'>. Set `arbitrary_types_allowed=True` in the model_config to ignore this error or implement `__get_pydantic_core_schema__` on your type to fully support it.

If you got this error by calling handler(<some type>) within `__get_pydantic_core_schema__` then you likely need to call `handler.generate_schema(<some type>)` since we do not call `__get_pydantic_core_schema__` on `<some type>` otherwise to avoid infinite recursion.

For further information visit https://errors.pydantic.dev/2.9/u/schema-for-unknown-type

参考github教程说明：PydanticSchemaGenerationError for class starlette.requests.Request · Issue #2783 · bmaltais/kohya_ss (github.com)icon-default.png?t=O83Ahttps://github.com/bmaltais/kohya_ss/issues/2783

只需要更换一个gradio版本即可。

It's temporary solution but, you can modify the requirements.txt file to downgrade the gradio package to version 3.50.2.

gradio==3.50.2
pip install gradio==3.50.2

最终可以成功正常运行Qwen2-VL

(qwen2vl) PS D:\3\Qwen2-VL-main> python web_demo_mm.py
Unrecognized keys in `rope_scaling` for 'rope_type'='default': {'mrope_section'}
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\exllama.py:12: UserWarning: AutoAWQ could not load ExLlama kernels extension. Details: DLL load failed while importing exl_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load ExLlama kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\exllamav2.py:13: UserWarning: AutoAWQ could not load ExLlamaV2 kernels extension. Details: DLL load failed while importing exlv2_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load ExLlamaV2 kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\gemm.py:14: UserWarning: AutoAWQ could not load GEMM kernels extension. Details: DLL load failed while importing awq_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load GEMM kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\gemv.py:11: UserWarning: AutoAWQ could not load GEMV kernels extension. Details: DLL load failed while importing awq_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load GEMV kernels extension. Details: {ex}")
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\awq\modules\linear\gemv_fast.py:10: UserWarning: AutoAWQ could not load GEMVFast kernels extension. Details: DLL load failed while importing awq_v2_ext: 找不到指定的模块。
  warnings.warn(f"AutoAWQ could not load GEMVFast kernels extension. Details: {ex}")
CUDA extension not installed.
CUDA extension not installed.
`Qwen2VLRotaryEmbedding` can now be fully parameterized by passing the model config through the `config` argument. All other arguments will be removed in v4.46
D:\ProgramData\anaconda3\envs\qwen2vl\lib\site-packages\transformers\modeling_utils.py:4732: FutureWarning: `_is_quantized_training_enabled` is going to be deprecated in transformers 4.39.0. Please use `model.hf_quantizer.is_trainable` instead
  warnings.warn(
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:05<00:00,  1.86s/it]
Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.
IMPORTANT: You are using gradio version 3.50.2, however version 4.29.0 is available, please upgrade.
--------

 

关于提示词，需要尽可能的详细，

读取图像，解答这个题干和对应的题目，尝试给出对应的解答过程和答案给我。

12.8252GB约为当前所需的显存

但如果提示词不恰当（过于简略，则可能会导致Qwen2-VL大模型发生误判）最终还有可能会爆显存。

光芒再现dev
关注
实战千问2大模型第二天——Qwen2-VL-7B（多模态）的部署和测试
qq_34717531的博客
09-10 968
2024年 8 月 30 日，通义千问团队今天对 Qwen-VL（视觉语言、Vision Language）模型进行更新，推出 Qwen2-VL。Qwen2-VL 的一项关键架构改进是实现了与上一代模型 Qwen-VL 不同，，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。
ValueError: Unrecognized configuration class ＜class transformers_modules.Qwen-7B-Chat...解决方案
热门推荐
weixin_43178406的博客
08-08 5万+
本文主要介绍了ValueError: Unrecognized configuration class
240831-Qwen2-VL-7B/2B部署测试
专注机器学习之路
08-31 1174
【代码】240831-Qwen2-VL-7B/2B部署测试。
本地运行 Qwen2-VL
engchina的专栏
09-04 530
本地运行 Qwen2-VL
【Qwen2部署实战】llama.cpp：一键部署高效运行Qwen2-7B模型
寻道码路，探索编程之路的无限可能。
07-07 2485
在人工智能的快速发展中，大型语言模型（LLM）如Qwen2-7B正成为研究和应用的焦点。这些模型以其强大的理解和生成语言的能力，正在不断推动智能应用的边界。然而，高效的部署和运行这些模型往往需要专业的知识和配置。`llama.cpp`库的出现，为这一问题提供了解决方案，它允许用户一键部署并高效运行Qwen2-7B模型。
Qwen2-VL-7B本地部署和微调
qq_55334382的博客
09-11 1083
Qwen2-VL-7B 是阿里巴巴开发的一款多模态大语言模型，属于Qwen2-VL系列的一部分。该模型能够处理文本、图像、多张图像和视频输入，尤其擅长视觉-语言任务，如文档理解、视频问答和复杂的多语言任务。它在多个视觉理解基准测试中表现出色，包括DocVQA和MTVQA。Qwen2-VL-7B 拥有约70亿参数，支持多种语言，包括中文、英文、日语、韩语、阿拉伯语等。这使得它适用于跨语言场景，尤其在文档、图片和视频的多模态理解方面具有领先的表现。
MLLM（二）| 阿里开源视频理解大模型：Qwen2-VL
wshzd的博客
09-05 1361
从六个关键维度评估模型的视觉能力：复杂的大学水平问题解决、数学能力、文档和表格理解、多语言文本图像理解、一般场景问答、视频理解和基于代理的交互。此功能为更直观和身临其境的交互铺平了道路，Qwen2-VL 不仅充当观察者，而且是我们视觉体验的积极参与者。此外，更小的 2B 模型针对潜在的移动部署进行了优化。Qwen2-VL 现在拥有改进的对象识别功能，超越了植物和地标，可以理解场景中多个对象之间的复杂关系。在 7B 模型上，保留了对图像、多图像和视频输入的支持，以更具成本效益的模型大小提供有竞争力的性能。
实战千问2大模型第三天——Qwen2-VL-7B（多模态）视频检测和批处理代码测试
qq_34717531的博客
09-11 651
阿里通义千问开源新一代视觉语言模型Qwen2-VL。其中，Qwen2-VL-72B在大部分指标上都达到了最优，刷新了开源多模态模型的最好表现，甚至超过了GPT-4o和Claude 3.5 Sonnet等闭源模型。1、能读懂不同分辨率和不同长宽比的图片：Qwen2-VL在多个视觉理解基准测试中取得了全球领先的表现，其中包括但不限于考察数学推理能力的MathVista、考察文档图像理解能力的DocVQA、考察真实世界空间理解能力的RealWorldQA、考察多语言理解能力的MTVQA。
Qwen2-7B-Instruct 的 model-00004-of-00004.safetensors 的2/2
07-26
Qwen2-7B-Instruct 的 model-00004-of-00004.safetensors 的2/2
Qwen-VL本地化部署及微调实践
weixin_44455388的博客
02-23 4048
我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。
使用c#制作一个小型桌面程序
最新发布
qq_44691564的博客
09-14 795
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1091
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
常见本地大模型个人知识库工具部署、微调及对比选型
09-14 838
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
有用的批量合并视频重命名以及有用的提取音频。遍历指定文件夹下所有视频文件，先合并归一化再生成包含包含说话人的srt格式的文件
东方
09-11 475
定义filename为"E:\四1班—吴希敏"遍历这个文件夹"E:\四1班—吴希敏"且包含多个层级目录的视频文件，重命名的时候把filename以及子文件夹目录的名字以及视频的名字一起命名，并统一把视频全部移动到filename下面。
企业如何构建有效的数据泄露防护安全体系
A526847的博客
09-14 691
在当今数字化时代，企业数据已成为核心资产，其安全性直接关系到企业的竞争力、客户信任度以及法律合规性。数据泄露事件频发，不仅会导致经济损失，还可能损害企业声誉和客户关系。因此，构建有效的数据泄露防护安全体系已成为企业不可或缺的重要任务。
深度学习算法，该如何深入，举例说明
liyy614的博客
09-10 1230
深度学习算法的深入学习可以从理论和实践两个方面进行。理论上，深入理解深度学习需要掌握数学基础（如线性代数、概率论、微积分）、机器学习基础和深度学习框架原理。实践上，可以通过实现和优化深度学习模型来提升技能。
python-游戏自动化（二）（OpenCV图像运用基础）
qiqi776532的博客
09-11 1283
图像二值化可以简单理解成，就是把图像转换成黑白两种颜色（一般用于提取图像特征），二值化图像：只有两种颜色，黑和白，255白色，0黑色。结合前面学习的彩色图像和灰度图像，一起来做个对比。彩色图像：三个通道0-255，0-255，0-255，所以可以有2^24位空间灰度图像：一个通道0-255,所以有256种颜色二值图像：只有两种颜色，黑和白，255白色，0黑色图像匹配，就是从一个图像中找出想要的小图像，打个比方：就好比拿着老师的头像寸照，然后去师的大学毕业照里面一个个的头像对照然后将老师找出来。
中伟视界：皮带跑偏检测算法及其实现模型和判断方法
yinweicai的专栏
09-13 1550
皮带输送机的跑偏检测技术，包括图像处理算法、机器学习模型和物联网技术的应用，详细阐述了各类判断方法及实际案例，强调实时监测和高精度检测的优势，提高了生产效率和安全管理水平。
qwen2-72b本地部署
08-08
qwen2-72b是一个预训练语言模型，通常用于自然语言处理任务，比如聊天、问答等。如果你想要将其本地部署，首先需要获取该模型的源代码或者已经打包好的二进制文件。以下是大致步骤： 1. **下载模型**：从官方GitHub仓库或其他提供者的资源获取qwen2-72b的权重文件。这通常包括模型参数（如`.bin`或`.pt`文件）和必要的配置文件。 2. **环境配置**：确保你的系统安装了支持模型运行的库，例如PyTorch或TensorFlow。如果是基于Python的模型，可能还需要其他依赖项。 3. **模型加载**：将下载的权重加载到相应的框架中，构建模型实例。 4. **搭建服务**：你可以选择在本地搭建HTTP服务器，或者创建一个简单的命令行接口（CLI），通过这些接口调用模型进行预测。 5. **输入处理**：设计解析用户输入和生成回复的逻辑，这可能涉及到文本清洗、编码转换等步骤。 6. **性能优化**：根据需求对模型进行适当调整，比如使用GPU加速或者调整推理速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

光芒再现dev

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值