自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(151)
  • 收藏
  • 关注

原创 Stable Diffusion WebUI本地环境搭建

下载后模型放在项目里面 models/Stable-diffusion文件夹下,可以放多个。实际上跟自己创建的环境没有关系,项目启动会自动复制这个环境,之后项目根据这个基础环境构建。安装过程中可能有几个git项目下载不了,手动下载并修改launch.py文件。具体在这里下载,有很多地址可以下载,主要是。在终端运行 webui-user.bat。也可以在自己指定的环境里搭建项目。

2024-07-26 18:43:57 388

原创 conda下tensorflow安装

【代码】conda下tensorflow安装。

2024-02-22 16:31:06 625

原创 ChatGLM-6B开源模型环境配置与部署

chatglm6B开源模型环境配置与部署

2024-02-22 15:14:42 872

原创 Docker

Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低。

2024-02-07 17:21:00 414

原创 Kubernetes k8s

API Server:处理 API 操作的,Kubernetes 中所有的组件都会和 API Server 进行连接,组件与组件之间一般不进行独立的连接,都依赖于 API Server 进行消息的传送;Controller:控制器,用来完成对集群状态的一些管理。比如刚刚我们提到的两个例子之中,第一个自动对容器进行修复、第二个自动进行水平扩张,都是由 Kubernetes 中的 Controller 来进行完成的;Scheduler。

2024-01-30 11:36:10 1214

原创 ChatGLM论文解读

chatGLM论文解读

2024-01-25 10:50:52 1451

原创 Spark十一:面试问题

完整内容见:https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ。

2024-01-12 10:31:15 835

原创 Spark十:故障排除

Spark常见故障和排除方法学习资料:https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ。

2024-01-12 10:24:37 1104

原创 Spark九:Spark调优之Shuffle调优

Spark shuffle调优方法,map端和reduce端缓存大小设置,reduce端重试次数和等待时间间隔,以及bypass设置

2024-01-11 09:44:00 929

原创 Spark八:Spark性能优化

Spark调优的方法,包括RDD使用、文件读取,partition等

2024-01-10 09:47:47 555

原创 Spark七:Spark数据倾斜

Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题,由不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。本节学习数据倾斜问题的避免与缓解。

2024-01-09 09:59:31 911

原创 Spark六:Spark 底层执行原理SparkContext、DAG、TaskScheduler

学习Spark运行流程

2024-01-08 09:45:04 1279

原创 Spark五:Spark的两种核心Shuffle

Spark 也有 Map 阶段和 Reduce 阶段,因此也会出现 Shuffle,介绍Spark的两种核心Shuffle,Hash Shuffle和Sort Shuffle

2024-01-05 09:41:07 1739

原创 Spark四:Spark Streaming和Structured Streaming

介绍Spark Streaming整体流程和DStream介绍Structured Streaming发展历史和Dataflow模型介绍。

2024-01-05 09:34:39 1404

原创 Spark三:Spark SQL

数据分析的方式,数据分类饿SparkSQL使用场景。几种数据抽象和SparkSQL读写数据和处理数据的两种风格:SQL风格和DSL风格

2024-01-04 09:59:31 979

原创 Spark二、Spark技术栈之Spark Core

spark核心:包括RDD、RDD算子、RDD的持久化/缓存、累加器和广播变量。

2024-01-03 11:20:49 1343

原创 Spark一:Spark介绍、技术栈与运行模式

Spark官网。

2024-01-02 14:58:38 1150

原创 scala学习八:类和对象

类是对象的抽象,而对象是类的具体实例。类是抽象的,不占用内存,而对象是具体的,占用存储空间。类是用于创建对象的蓝图,它是一个定义包括在特定类型的对象中的方法和变量的软件模板。Scala中的类不声明为public,一个Scala源文件中可以有多个类。以上实例的类定义了两个变量 x 和 y ,一个方法:move,方法没有返回值。Scala 的类定义可以有参数,称为类参数,如上面的 xc, yc,类参数在整个类中都可以访问。可以使用new来实例化类,并访问类中的方法和变量。

2023-12-27 09:44:32 439

原创 scala学习七:集合

Scala提供了一套很好的集合实现,提供了一些集合类型的抽象。Scala 集合分为可变的和不可变的集合。可变集合可以在适当的地方被更新或扩展。可以修改,添加,移除一个集合的元素。而不可变集合类,永远不会改变。不过,仍然可以模拟添加,移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合,同时使原来的集合不发生改变。

2023-12-26 10:03:17 1048 2

原创 scala学习六:数组

多维数组一个数组中的值可以是另一个数组,另一个数组的值也可以是一个数组。矩阵与表格是我们常见的二维数组。数组里面的每个元素是相同的数据类型,一般用for循环处理。range() 方法最后一个参数为步长,默认为 1。存储固定大小的同类型元素。

2023-12-20 09:46:25 463

原创 scala学习五:字符串

String 类中可以使用 printf() 方法来格式化字符串并输出,String format() 方法可以返回 String 对象而不是 PrintStream 对象。Scala中,string是不可变对象,不可修改。如果修改字符串,会产生新的字符串对象。Scala中的字符串类型实际上是Java String,它本身没有String。如果想创建一个可以修改的字符串,可以使用String Builder 类。, index从0开始。

2023-12-19 11:18:23 725 1

原创 scala学习四:方法与函数

由一个 def 关键字开始,紧接着是可选的参数列表,一个冒号 : 和方法的返回类型,一个等于号 = ,最后是方法的主体。如果方法没有返回值,可以返回Unit,类似于Java里面的voiddef functionname([参数列表]):[return type] = {以上代码中 return type 可以是任意合法的 Scala 数据类型。参数列表中的参数可以使用逗号分隔。函数里面的返回不需要写 return ,直接写要返回的数据return sum。

2023-12-18 15:59:41 558

原创 Scala学习三:条件语句/循环语句

Scala 语言中默认是没有 break 语句,但是在 Scala 2.8 版本后可以使用另外一种方式来实现 break 语句。当在循环中使用 break 语句,在执行到该语句时,就会中断循环并执行循环体之后的代码块。

2023-12-15 10:20:38 509

原创 Scala学习二:访问修饰符/运算符

访问修饰符/运算符

2023-12-11 20:01:14 701

原创 Scala学习一:语法基础/数据类型/变量

scala学习:语法基础/数据类型/变量

2023-12-11 19:56:57 1234

原创 论文笔记:A review on multi-label learning

这篇文章介绍了多标签分类的定义和评价指标、多标签学习的算法还有其他相关的任务。

2023-12-11 17:04:28 796

原创 hive/spark用法记录

获取当前日期,返回 20170209–获取当前日期偏移,转为不带横杆的格式–20170131。

2023-12-11 17:01:31 1163

原创 Scala日志log4j,序列化Gson

对于 Maven 项目,可以在 pom.xml 文件中添加以下内容:</</</</

2023-12-11 16:59:18 615

原创 创建scala项目并增加新的object试运行

依赖配置:没有maven也可以创建。

2023-10-16 16:23:07 740

原创 Git简单使用

git创建账号、分支、拉去远程代码到本地分支

2023-09-25 10:16:21 666

原创 tensorflow常用函数

tensorflow

2022-10-24 10:14:58 330 1

原创 TensorFlow 2.x

TensorFlow2.0基础

2022-10-17 21:22:14 1118

原创 sql基础

sql入门基础

2022-08-08 11:20:31 292

原创 sql练习记录

牛客网sql练习

2022-07-27 16:45:59 227

原创 sql常用基础语句

sql的常用语句

2022-07-26 20:38:38 498

原创 sql学习笔记

1.postgresql无法启动,错误1053,服务器没有及时响应设置属性的里面的登录

2022-05-27 18:02:18 280

原创 统计模型参数量、计算复杂度ptflops

ptflops/profile/stat计算模型参数

2022-05-25 15:29:06 6669 1

原创 EDSC环境配置问题

一、pytorch1.0.0 importerror undefined symbol: cblas_sgemm_allo参考链接:https://blog.csdn.net/weixin_45588505/article/details/124155586解决方法,安装mkl,注意mkl版本conda install mkl=2018 -c anaconda安装完后运行又出现问题,pillow版本问题。ImportError: cannot import name 'PILLOW_VERSI

2022-04-28 10:30:46 759

原创 linux没有root权限,安装gcc

下载链接http://mirrors.concertpass.com/gcc/参考链接,linux 没有root权限的用户安装GCCgcc安装介绍一、下载gcc和依赖源码我选的是 gcc-7.2.0tar -zxcf gcc-7.2.0.tar.gz解压,然后进入目录,cd gcc-7.2.0/contrib/,命令行输入cat download_prerequisites,可以看到依赖版本号。我对应需要的是gmp-6.1.0mpfr-3.1.4mpc-1.0.3isl-0.16.1

2021-12-24 00:07:42 3113 1

原创 collections.deque()

collections.deque()的速度比list构建的queue快

2021-08-26 00:33:01 177

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除