我把「FLUX」接入了「小爱」，微信直接出图，告别一切绘画软件！

最新推荐文章于 2024-09-12 18:02:47 发布

AI码上来

最新推荐文章于 2024-09-12 18:02:47 发布

阅读量883

点赞数 17

分类专栏： AI实战文章标签：微信人工智能 python

本文链接：https://blog.csdn.net/u010522887/article/details/142074429

版权

AI实战专栏收录该内容

41 篇文章 11 订阅

订阅专栏

前两天，搞了个微信 AI 小助理-小爱(AI)，爸妈玩的不亦乐乎。

零风险！零费用！我把AI接入微信群，爸妈玩嗨了，附教程（下）

最近一直在迭代中，挖掘小爱的无限潜力:

有朋友问：小爱能 AI 绘画么？

小爱：害，不过是接个模型的事儿~ 扶我来战！

今日分享，继续带大家实操：如何让小爱理解用户需求，并生成满足需求的图片！

要实现AI 绘画功能，我们先来拆解下步骤：

识别用户意图：从用户输入中识别出AI 绘画的意图；
生成绘画提示词：根据用户输入，生成给绘画模型的提示词；
生成图片：调用图片生成模型的接口，返回图片 url。

1. 识别用户意图

在零风险！零费用！我把AI接入微信群，爸妈玩嗨了，附教程（下）的基础上，我们只需在意图列表中新增一条：图片生成。

提示词如下：

intentions_list = ['天气', '步行规划', '骑行规划', '驾车规划', '公交规划', '地点推荐', '图片生成']
intentions_str = '、'.join(intentions_list)

sys_intention_rec = f'''
  你是意图识别专家，我会给你一句用户的聊天内容，帮我分析出他的意图。
  要求：
  1. 只有当你非常明确意图来自以下类别：{intentions_str}，才能回答，否则请回复“其它”。
  2. 直接回答意图标签即可，无需回答其它任何内容。
  '''

这样，LLM 从用户输入中识别到图片生成后，就直接路由到指定的处理逻辑。

2. 生成绘画提示词

由于用户输入是非结构化，这就需要提取出和绘画提示词相关的内容。

不过，这事简单，直接交给 LLM 就行，你只需给它合适的角色提示词就行：

if intention == '图片生成':
    messages = [
        {'role': 'system', 'content': '根据用户输入，生成给stable diffusion等图片生成模型的提示词，只回答提示词内容，无需回答其它任何内容'},
        {'role': 'user', 'content': f'{user_content}'}
    ]
    res_prompt = unillm(['gemini-1.5-flash', 'glm4-9b'], messages=messages)

你别看就这么个简单任务，参数量小一点的模型压根搞不定！

实测下来，还是gemini-1.5-flash靠谱一些，推荐大家使用。

3. 生成图片

有了绘画提示词，终于到最后一步：生成图片了。

用啥模型生成图片呢？

本地部署个 Stable Diffusion？

都 2024 了，AI 绘画的风口在 FLUX 这里，强烈推荐你去体验一下👉FLUX + LoRA 实测，AI 绘画开启新纪元，5分钟带你部署体验。

现在 FLUX 的生态已经越来越完善了，但是本地部署对很多小白来说还是有点门槛。

为了让大家能快速跑通流程，我们选用siliconflow提供的免费接口。

核心代码如下，一键接入 AI 绘画模型：

def generate_image(prompt='a cat', model='flux', img_size='1024x576', batch_size=1):
    url = f"https://api.siliconflow.cn/v1/{model}/text-to-image"
    headers = {
        "accept": "application/json",
        "content-type": "application/json",
        "Authorization": "Bearer xxx"
    }
    data = {
        'prompt': prompt,
        'image_size': img_size,
        'batch_size': batch_size,
    }
    response = requests.post(url, json=data, headers=headers)
    img_urls = [img['url'] for img in response.json()['images']]
    return img_urls

当然，siliconflow也开放了Stable Diffusion系列模型，不过从实测来看，FLUX 更香，不知大家体验如何，欢迎评论区交流。

如果有更多AI绘画的定制化需求，只能本地部署 LoRA + ControlNet 模型。想咋玩，你说了算！