Multi Frame 视频和图片帧互换以及AI动画帧生成

已于 2023-06-26 16:50:48 修改
阅读量5.1k 收藏 23
点赞数 9
分类专栏： Stable Diffusion AI绘画 文章标签： stable diffusion 音视频 人工智能
于 2023-03-29 09:23:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20288327/article/details/129829258
版权

Stable Diffusion 只做AI动画是基于把原有视频按照帧进行提取之后对每一帧的图像进行标准化流程操作，中间可以掺杂Controlnet对人物进行控制，使用关键词对画面进行控制，但是很多小伙伴不太会掌握一些编辑视频软件或者python的操作导致视频转帧，帧转视频会出现一些问题。

这里分享2套方法。

文章目录

自制Python脚本

在你的文件目录下和我一致即可。

视频转帧 fps_jpg.py


                

                
                
        

        

        

    




        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  Mr数据杨
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    9
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    23
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  6
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          

                

                        订阅专栏
                










                



	

		

			

				
					
AI 绘画 | Stable Diffusion 视频生成重绘

				
			

			

				

					洛阳泰山的博客
				

				

					12-25
					
					2596
					
				

			

		

		

			
				
本篇文章教会你如何使用Stable Diffusion WEB UI,实现视频的人物，或是动物重绘，可以更换人物或者动物，也可以有真实变为二次元。原视频和Ai视频画面合并。

			
		

	



                

              
                



	

		

			

				
					
〔022〕Stable Diffusion 之 生成视频 篇

				
			

			

				

					国内某知名游戏公司小菜鸡工程师
				

				

					09-12
					
					2581
					
				

			

		

		

			
				
快速学会视频风格转换和视频的无限缩放

			
		

	



                


  
              

                


	

		

			

				
					
stable diffusion这个插件牛，高清【图片换脸】，高清【视频换脸】 一键完成

					
最新发布

				
			

			

				

					qq_41314882的博客
				

				

					04-01
					
					718
					
				

			

		

		

			
				
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

			
		

	





	

		

			

				
					
人工智能-项目实践-检测-基于视频的行人流量密度检测.zip

				
			

			

				

					12-23
				

			

		

		

			
				
基于视频的行人流量密度检测
1.detection.py:通过已经训练好的Faster-Rcnn参数实现对行人的识别并标记（其中标记行人的阈值为0.7，即识别率必须达到70%）；
2.camshift2.py:利用mean-shift对已经标记的人进行目标跟踪，中间通过不断迭代更新行人目标位置并实时标记；
3.kalmon.py:借助卡尔曼滤波方式来对行人移动位置进行预测，提高目标跟踪的精度；
4.multi-object-tracking.py:利用多对象目标跟踪器实现对多个目标进行跟踪。
5. multi_camshift_detection.py:使用camshift方法进行目标跟踪，并利用卡尔曼滤波方法进行目标预测，从而实现多目标跟踪。（此方法目标标记框移动幅度较大）
6. multi_track_detection.py：正式完成的基于视频的行人目标跟踪及流量密度检测程序。

附属依赖库：
faster_rcnn_inception_v2_coco_2018_01_28（faster-rcnn网络框架）、 ssd_mobilenet_v1_coco_2018_01_28（ss

			
		

	



		

			
		



	

		

			

				
					
CSS3动画（3）：transform实现multi-flip图片轮播动画

				
			

			

				

					06-14
				

			

		

		

			
				
html，css，js，CSS3，transform实现multi-flip图片轮播动画

			
		

	





	

		

			

				
					
基于多类支持向量机的3D-HEVC深度视频帧内编码快速算法

				
			

			

				

					01-14
				

			

		

		

			
				
深度视频编码中最优深度划分和模式选择过程具有非常高的计算复杂度。提出了基于多类支持向量机(MSVM, multi-class support vector machine)的深度视频帧内编码快速算法。该算法包括离线模型训练和快速编码2个部分。在离线模型训练中，用深度视频最大编码单元(LCU, largest coding unit)的最优划分深度作为标签，当前LCU的空域复杂度、空域相邻LCU的最优划分深度和彩色视频对应LCU的最优划分深度作为特征去构造MSVM模型。在编码时，提取LCU的特征，根据MSVM模型得到划分深度的预测值。根据该预测值提前终止编码单元递归划分和模式选择过程。实验结果表明，提出的算法在几乎不影响虚拟视点质量的情况下，平均节省35.91%的总体编码时间和40.04%的深度编码时间。

			
		

	





	

		

			

				
					
Stable diffusion中mov2mov

				
			

			

				

					weixin_43636034的博客
				

				

					04-17
					
					5017
					
				

			

		

		

			
				
这段时间成迷于AI绘画，目前已经学会了视频转成二次元风格。这里利用了秋葉aaaki大佬的Stable diffusion WebUI，和mov2mov插件，在controlnet 插件中利用了openpose来约束每张图的动作和手部，减少出现多只手和多个脚，同时还利用了controlnet插件中的depth来约束一下整体人物，减少出现多个人。

			
		

	





	

		

			

				
					
视频与帧互转，音频提取，音视频合成

				
			

			

				

					zyf1910的博客
				

				

					11-23
					
					441
					
				

			

		

		

			
				
【代码】将视频转为帧。

			
		

	





	

		

			

				
					
drag diffusion中的gradio代码逐行解析（二）

				
			

			

				

					laner__gg的博客
				

				

					09-22
					
					401
					
				

			

		

		

			
				
5.gr.Button("Generate Image")创建按钮，用户可以点击按钮执行特定的操作。1.gr.Number（数字）：用于处理数值输入和输出。数值可以选择False,不可见功能。2.gr.Slider（滑块）：用于创建可拖动的滑块，用于选择范围内的数值。3.gr.Dropdown（下拉选项）：创建下拉选项菜单，方便用户进行选择。select()用于监听用户在组件中的选择事件。6.使用click()方法监听组件的点击事件。

			
		

	





	

		

			

				
					
gradio中下拉栏Dropdown操作笔记

				
			

			

				

					j_starry的博客
				

				

					03-18
					
					648
					
				

			

		

		

			
				
现在没有default参数去设置了，会报TypeError: __init__() got an unexpected keyword argument 'default'。正确的用法是用value=0去指定，但是不能写value=1制定第二个，所以需要把想默认制定的，放在choices列表的第一位。gr.Dropdown(label="请选择", choices=list(select.values()), value=0)1、Dropdown怎么默认选第一个值？

			
		

	





	

		

			

				
					
AI作画升级！一键帮你用Stable Diffusion 生成无限缩放效果视频

				
			

			

				

					m0_59448707的博客
				

				

					04-03
					
					1977
					
				

			

		

		

			
				
在这一篇文章中，我们介绍了利用OpenVINO™优化和加速Stable Diffusion模型的推理，在英特尔®独立显卡上能够根据我们输入的指令（prompt），快速生成我们喜爱的AI画作。今天，我们对这一应用场景再次升级，除了能够作画，利用OpenVINO对Stable Diffusion v2模型的支持及优化，我们还能够在在英特尔®独立显卡上快速生成带有无限缩放效果的视频，使得AI作画的效果更具动感，其效果也更加震撼。话不多说，接下来还是让我们来划划重点，看看具体是怎么实现的吧.

			
		

	





	

		

			

				
					
Geometrical multi-resolution network based on ridgelet frame

				
			

			

				

					02-20
				

			

		

		

			
				
Ridgelet has multi-resolution properties in direction besides scale and position. This paper proposes a geometrical multi-resolution network (GMN) based on ridgelet frame by taking ridgelet as the activation function in the hidden layer. For ridgelet is efficient in describing line, hyperplane, and other non-point like structures in high dimension, the network is capable of catching essential features in ';direction-rich'; signals and thus representing high-dimensional data sparsely. Wit

			
		

	





	

		

			

				
					
基于变形镜面形的多帧相位反演算法研究

				
			

			

				

					02-10
				

			

		

		

			
				
在此算法的基础上, 提出以变形镜面形来实现反演的方法, 并通过数值仿真和实验验证了这种基于变形镜面形的多帧G-S相位反演方法的可行性。仿真结果同时还表明, 采用4个变形镜面形产生相应的远场, 平均仅需50次的迭代便...

			
		

	





	

		

			

				
					
剖析虚幻渲染体系（06）- UE5特辑Part 2（Lumen和其它上篇）

				
			

			

				

					ttod的博客
				

				

					11-23
					
					203
					
				

			

		

		

			
				
剖析虚幻渲染体系

			
		

	





	

		

			

				
					
解绝:ImportError: cannot import name XXX from partially initialized module XXX (most likely

					
热门推荐

				
			

			

				

					qq_43581644的博客
				

				

					01-22
					
					2万+
					
				

			

		

		

			
				
原因：当前.py文件与库中包重名，改一下文件名就好啦



			
		

	





	

		

			

				
					
WebGL2系列之多采样渲染缓冲对象

				
			

			

				

					netcy的专栏
				

				

					07-15
					
					1528
					
				

			

		

		

			
				
在很久很久以前，盘古开辟了天地，他的头顶着天，脚踩着地，最后他挂了。他的毛发变成了森林，他的血液变成了河流，他的肌肉变成了大地。。。。。。
卡！
哦，不对，在很久很久以前，你属于我，我拥有你。
你还有没有程序员的自我修养啦。
不好意思，串戏了，下面进入。。。主题
本文适合对webgl、计算机图形学、前端可视化感兴趣的读者。


在很久很久以前，使用WebGL1的时候，只能在默认的绘制的缓冲区上面...

			
		

	





	

		

			

				
					
【AI】Stable-Diffusion-WebUI使用指南

				
			

			

				

					Goulandis
				

				

					06-03
					
					1万+
					
				

			

		

		

			
				
最近AI绘画实现了真人照片级绘画水准，导致AI绘画大火，公司也让我研究研究，借此机会正好了解一下深度学习在AIGC(AI Generated Content)----人工智能自动内容生成领域的应用。

			
		

	





	

		

			

				
					
Stable Diffusion——Animate Diff一键AI图像转视频

				
			

			

				

					知来者逆的博客
				

				

					03-05
					
					2519
					
				

			

		

		

			
				
AnimateDiff 提出了一种创新的方法来解决个性化 Text to Video 的挑战。其核心原理是将一个新初始化的运动建模模块附加到冻结的基于文本到图像的模型上，并在接下来的视频剪辑中对其进行训练，以提炼出合理的运动先验知识。一旦训练完成，通过简单地注入这个运动建模模块，所有从相同基础模型派生的个性化版本都可以立即成为以文本驱动的模型，从而能够生成多样化和个性化的动画图像。

			
		

	





	

		

			

				
					
multi-frame rendering

				
			

			

				

					12-17
				

			

		

		

			
				
多帧渲染是一种计算机图形渲染技术，通过同时渲染多个图像帧来提高渲染速度和图像质量。

传统的单帧渲染方式是依次渲染每个图像帧，而多帧渲染则同时处理多个帧。这是通过同时使用多个处理器核心或者显卡的多个计算单元来实现的。

在多帧渲染中，每个帧会被分成多个小部分，每部分由一个独立的计算单元渲染。这些计算单元可以并行地工作，同时渲染不同的部分图像帧。通过充分利用硬件并行计算的优势，多帧渲染大大加快了整个渲染过程。

除了加快渲染速度，多帧渲染还可以提高图像质量。通过使用多个计算单元同时渲染不同的帧，可以在渲染过程中应用更复杂的算法和效果。例如，可以通过在多个帧中采样不同的光线路径来实现更真实的全局光照效果，或者通过从多个帧中合成不同的抗锯齿样本来减少图像锯齿。

尽管多帧渲染可以提供更快的渲染速度和更高的图像质量，但也存在一些挑战。首先，多帧渲染需要强大的硬件支持，例如具有多个计算单元或者核心的处理器或显卡。此外，多帧渲染还需要高效的任务调度和数据同步机制，以确保各个计算单元之间的协调和合作。

总之，多帧渲染是一种利用并行计算来提高渲染速度和图像质量的技术。通过同时渲染多个图像帧并应用复杂的算法和效果，多帧渲染为计算机图形渲染带来了更高的性能和逼真度。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 6

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Mr数据杨

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值