- 博客(69)
- 收藏
- 关注
原创 在Ubuntu22.04 使用stable-diffusion-webui 秋叶整合包
众所周知,赛博菩萨已经发布了windows下的,开箱即用,且集成度较高。那我为啥非要在Ubuntu下使用呢?当然是因为主力机就是Ubuntu系统啦。而且涉及到sd webui API 的调用,在Ubuntu 下调试更加方便一点。那有没有可以在Ubuntu下使用的方式呢?相比之下,方法一可能还会遇到一些网络问题,所以,我选择了更偷懒的方法二。分析一下整合包的内容,其实就多了windows 下的git 和 python 的环境。
2024-06-22 20:50:25
878
原创 使用Vercel 搭建自己的Dashy导航页
是一个开源的自托管导航页面配置服务,它具有易于使用的可视化编辑器、状态检查、小工具和主题等功能。用户可以利用 Dashy 将自己常用的一些网站聚合起来,形成一个个性化的导航页面。(没有域名的话,买一个吧,阿里,腾讯等都行,不贵。则作为一站式的构建,预览和部署平台,使用起来非常方便。Step2. 在CloudFlare 配置管理解析,域名也可以在这买,稍微贵点。因而,想出了用Vercel部署一个个人的Dashy网站,这样在哪都能访问了。CNAME记录的目的是将域名指向另一个域名,再由另一个域名提供IP地址。
2024-06-22 20:36:09
542
原创 Azure sqlserver 更改字符集
我们的Azure SQL Server是在2018年建的,当时还不支持汉字的字符集。然后最近发现因为字符集的缘故,出了bug,要调整字符集。然后就照着一通修改。然后神奇的事情来了,Sql Server 刚建好的时候,可以改DB的字符集。但是已经存在的DB,无法调整。
2023-08-26 13:04:31
916
原创 搭建开发环境-Mac
上一篇记录了WSL 和Ubuntu 下开发环境的搭建。这一篇就说下Mac开发环境的搭建。就像很多人误以为Mini 是专为女孩子设计的高颜值车,其实是一辆极其hardcore 的拉力车一样。很多人都被Mac 那高颜值蒙蔽了,其实这是一台生产力满满的生产工具。生产力镇楼那既然作为生产工具,我们自然也要好好的配置一下了。
2023-08-26 13:02:20
633
原创 FATE学习:跟着日志读源码(十二)dataio task excute阶段
综述参考FATE 的flowchart,常规任务开始的第一个组件,就是dataio。同前文,在${job_log_dir}/fate_flow_schedule.log 中输出如下命令后,开始通过task_executor 执行dataio。[INFO] [2021-06-04 14:42:02,995] [1:140456603948800] - job_utils.py[line:310]: start process command: /opt/app-root/bin/python /data
2021-09-20 17:22:00
870
原创 FATE学习:运行过程中产生的数据 概览
作为刚接触FATE的新人,尤其是工程向的,肯定很好奇FATE运行过程中,产生的日志都记录在哪里?运行过程中的模型和中间数据都保存在哪里?总的来看,FATE运行时产生数据包括如下几部分:db部分,记录和各项metircs,存在mysql(standalone 模式是sqlite)中。参见FATE学习:运行过程中产生的数据(二) db部分日志:落盘在本地,logs目录下。参见FATE学习:跟着日志读源码(一)日志目录结构jobs 运行时参数:基于输入中的配置项和默认配置项(缺省部分)生成的配置,存
2021-09-20 13:54:12
618
原创 FATE学习:小技巧复用component
综述将一个job中的各个component拆开来运行。只需要将上一步component 输出的name,namespace 作为下一步的输入,即可。至于component 输出的name,namespace,可以通过cli 中的component_output_data_table 或者直接查db 获取。在一些需要复用component 的情况下,比如一次求交结束后,使用不同的模型训练、预测等。可以有效的减少重复操作的耗时(io的和求交的耗时可是不小的)准备upload 数据生成up_guest
2021-09-10 19:10:40
553
5
原创 FATE学习:跟着日志读源码(十一)upload 任务过程中产生的请求
综述upload 任务的http请求,可以分为两部分。一部分是submit -> job finish 这个流程中产生的。另一部分是polling 的过程中,轮询产生的请求(只轮询后收集相关信息,不实际执行)执行细节以下的日志,是一个upload执行后,容器中完整的日志。10.200.96.235 - - [26/Jul/2021 08:20:31] "POST /v1/party/202107260820309976351/local/0/create HTTP/1.1" 200 -1
2021-09-08 21:43:04
420
原创 FATE学习:运行过程中产生的数据(四) model_cache
综述存储fate 训练过程中的模型目录: /data/projects/fate/model_local_cache/{model_version}/{model_id}内容(app-root) bash-4.2# ls -R.:define pipeline.pb variables./define:define_meta.yaml proto./define/proto:boosting-tree-model-meta.proto data-io-param.proto
2021-09-08 21:26:15
625
原创 FATE学习:运行过程中产生的数据(三) lmdb部分
综述upload,intersection,lr 等等组件,如果有中间结果,都以lmdb的形式存储。有关lmdb的,请参考官方文档存储位置为:nodemanager 的 /data/projects/fate/eggroll/data/LMDB按照output_data_{task_id} 存储各个task的结果 如:output_data_20210908144140944232712_dataio_0_0output_data_20210908144140944232712_hetero_
2021-09-08 21:25:11
546
5
原创 FATE学习:运行过程中产生的数据(二) db部分
综述fate_flow_server 启动时,会初始化db。cluster模式为mysql,standalone模式为sqlite,详细说明参考FATE学习:跟着日志读源码(二)fate_flow server 启动而在fate 任务的运行过程中,产生的job和task的metadata 以及 tracker 信息。这部分数据都存储在db中。因而也涉及大量的DB操作。创建 job or task: intsert 语句更新 job or task信息: update 语句、delete语句db概
2021-09-08 21:23:57
607
原创 FATE学习:运行过程中产生的数据(一) job部分
综述在创建job 、task 和 执行task的过程中,将相关配置信息、pid信息等落盘。目录位于 /data/projects/fate/jobs/${jobid} 下主要包括3类:pid:用于记录执行各个task的进程号的文件。配置文件:针对输入的DSL 文件,和Run Time Conf文件,结合当前FATE部署时的配置参数,会生成任务运行时最终使用的配置文件。日志目录结构|-- job_dsl.json: 结合输入的DSL 文件 和 默认配置参数生成。|-- job_runti
2021-09-08 21:23:02
707
原创 FATE学习:五种不同的API提交FATE任务
综述当前支持如下五种API来提交FATE任务,分别为:CLI API:通过python 启动python 脚本,提交FATE任务。REST API:Rest API 形式,发起http请求,提交FATE任务。Flow SDK:python 封装的SDK,调用相关API,提交FATE任务。Flow Client:封装为命令行工具模式的FATE Flow命令行控制台。Pipeline:python 封装的high level API。几种API的对比CLI API使用方式:python
2021-09-07 22:11:13
1889
7
原创 FATE学习:配置文件解析及V1/V2版本对比
综述为了让任务模型的构建更加灵活,目前 FATE 使用了一套自定的领域特定语言 (DSL) 来描述任务。在 DSL 中,各种模块(例如数据读写 data_io,特征工程 feature-engineering, 回归 regression,分类 classification)可以通向一个有向无环图 (DAG) 组织起来。通过各种方式,用户可以根据自身的需要,灵活地组合各种算法模块。除此之外,每个模块都有不同的参数需要配置,不同的 party 对于同一个模块的参数也可能有所区别。为了简化这种情况,对于
2021-09-04 16:30:18
1233
3
原创 联邦学习哪家强,中国山东找saber
ERROR:本文要素过多,包含开车、粗鄙之语、魔法、表情包等。但不包含联邦学习的具体说明,相关内容,文末给出传送门,请自行参阅。0. 先吐槽人呐就都不知道,自己不可以预料,一个人的职业发展啊,当然要靠自我奋斗,但是也要考虑技术的演进。我绝对不知道,我作为一个搞大数据的,怎么开始搞联邦学习了?所以当领导给我安排任务,说“公司都决定了,你来调研联邦学习吧”。我说另请高明吧,我实在也不是谦虚。我一个玩大数据的,一年正经代码写不了几行,到是sql和shell 写的飞起的咸鱼,怎么就能研究联邦学习了呢?但是
2021-08-26 21:10:57
361
2
原创 Ubuntu 的命令不显示绝对路径
只需要编辑文档 “~/.bashrc” 即可。$ sudo vim ~/.bashrcif [ "$color_prompt" = yes ]; then PS1='${debian_chroot:+($debian_chroot)}\033[01;32m\u@\h\033[00m:\033[01;34m\w\033[00m\$ 'else PS1='${debian_chroot:+($debian_chroot)}\u@\h:\w\$ 'fi将两个小写的’
2021-08-26 21:10:42
634
原创 【shell学习】1.Vim
哦咖喱供啊,用多了vim,编辑文档都不用鼠标的。–by 喵十八三种模式基本上 vi/vim 共分为三种模式,分别是命令模式(Command mode),插入模式(Insert mode)和底线命令模式(Last line mode)。 这三种模式的作用分别是:命令模式用户刚刚启动 vi/vim,便进入了命令模式。此状态下敲击键盘动作会被Vim识别为命令,而非输入字符。比如我们此时按下i,并不会输入一个字符,i被当作了一个命令。以下是常用的几个命令:i 切换到插入模式,以输入字符。x .
2021-08-26 21:10:28
182
原创 FATE 命令行学习笔记
目录使用方式JOB_OPERATEsubmit_jobstop_jobquery_jobclean_jobdata_view_queryJOBjob_configjob_logTASK_OPERATEquery_taskTRACKINGcomponent_parameterscomponent_metric_allcomponent_metricscomponent_output_modelcomponent_output_datacomponent_output_data_tableDATAdownloa
2021-08-25 10:12:56
1048
原创 FATE学习:跟着日志读源码(十)polling
综述在FATE学习:跟着日志读源码(二)fate_flow server 启动介绍过,fate_flow_server.py中的DAGScheduler(interval=2 * 1000).start(),默认每隔2s,启动一次dag_scheduler,共五种调度。其中:调度处于waiting 状态的job:job的状态从waiting -> running,主要在FATE学习:跟着日志读源码(五)upload任务job schedule阶段介绍。调度处于running 状态的job:涉
2021-08-24 10:17:18
507
原创 FATE学习:跟着日志读源码(九)upload任务job finsih阶段
综述同task,job结束时,并不会返回job finish 的信息,也是在DagScheduler.schedule_running_job() 轮询时,通过calculate_job_status() 方法获取job的状态。获取job已经finish的信息后,会返还资源和进行相关环境清理。执行步骤dag_scheduler.py:当调度完task后,执行calculate_job_status,计算job当前的状态。执行calculate_job_progress,计算job当前的完成进度。
2021-08-24 10:16:51
354
原创 FATE学习:跟着日志读源码(八)upload任务task finsih阶段
综述task结束时,是通过TaskExecutor.report_task_update_to_driver更新本地的DB中task的状态信息的。但由于是异步请求,对于发起者而言,并不会收到task 结束的信息,只有在轮询中,去查询db,获取task的状态。获取task已经finish的信息后,会返还资源和进行相关环境清理。执行细节dag_scheduler.py:schedule_running_job 调度轮询,和前文类似,这里不多赘述调用链为DagScheduler.schedule_r
2021-08-24 10:16:20
297
原创 FATE学习:跟着日志读源码(七)upload任务task excute阶段
综述前文对upload task 进行schedule 之后,最终调用 task_executor 进行执行,进入具体的执行部分。每个task的具体日志会打在${job_log_dir}/ $ {role}/ ${party} 中(为便于记录,这里简记为 ${task_log_dir}这里就按照 ${task_log_dir}/DEBUG.log看 会比较清晰一点执行细节执行命令/opt/app-root/bin/python /data/projects/fate/python/fate
2021-08-24 10:15:52
726
原创 FATE学习:跟着日志读源码(六)upload任务task schedule阶段
综述在前文的基础上,因为job已经处于running状态,会按照task的依赖关系,依次调度该job下的task。调度之后的操作有2部分:Part1. 申请资源Part2. start job:将job的状态从waiting -> running 状态涉及的主要方法: dag_scheduler.schedule_running_jobs()执行步骤dag_scheduler.py:rundo轮询,发现处于running状态的job(这一部分见fate flow server
2021-08-24 10:15:24
635
原创 FATE学习:跟着日志读源码(五)upload任务job schedule阶段
综述由于是异步提交的,job启动是由server 进行轮询,对于处于waiting的 job 按照FIFO进行调度。调度之后的操作有2部分:Part1. 申请资源Part2. start job:将job的状态从waiting -> running 状态涉及的主要方法: dag_scheduler.schedule_waiting_jobs()执行细节dag_scheduler.py:轮询,发现处于waiting状态的job(这一部分见fate flow server 启动部分)
2021-08-24 10:14:48
640
原创 FATE学习:跟着日志读源码(四)upload任务submit&create阶段
综述本篇以upload任务的sumbit 和 create 阶段为例,结合产生的日志,说明该生命阶段代码的运行情况。执行步骤为便于说明,画了下uml 时序图,结合图说下各步操作在CLI 用户执行命令 python fate_flow_client.py -f upload -c upload_guest.jsonfate_flow_client.py:调用 call_fun()函数,向本地server 发起post请求response = requests.post("/".join([s
2021-08-24 10:14:05
879
原创 FATE学习:跟着日志读源码(三)一般任务生命周期
综述从联邦建模的角度去理解整个job的生命周期,就是一系列功能模块组成的DAG,可以参照fate官方的文档,其中,各个功能模块就具体实现而言,就是fate中的各个算法或数据组件。不过结合源码,从日志的角度来看,可以将整个job的生命周期,按照不同阶段所做的操作,进行划分。具体如下图:submit:提交 jobcreate:创建job 和该job下对应的 tasks(相当于元数据) ,这里创建好之后,所有状态都是waitingjob schedule:对于job,按照FIFO的顺序,轮询到wa
2021-08-24 10:12:50
709
原创 FATE学习:跟着日志读源码(二)fate_flow server 启动
日志走读 fate_flow server 启动部分综述代码:python/fate_flow/fate_flow_server.pyweb框架:Flask流程为:执行 python fate_flow_server.py ,这部分会在容器中打出相应日志。fate_flow_server 执行启动过程。这里可以看下logs目录(app-root) bash-4.2# pwd/data/projects/fate/logs(app-root) bash-4.2# lsfate_fl
2021-08-24 10:12:04
2314
1
原创 FATE学习:跟着日志读源码(一)日志目录结构
综述介绍fate运行过程中产生的各个类型日志版本说明部署方式为KubeFATE。相关版本为:FATE: 1.5.1KubeFATE: v1.3.0基本概念job:一个完整的调度单元,可以拆分成不同的task。task:最小的执行单元。component:预先定义的不同组件,具体的task执行,就是运行不同的组件。FATE框架根据官方的架构图,在单个Party的上FATE-Flow 的架构如下[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2Rhg
2021-08-24 08:12:34
3159
1
原创 【shell学习】0.引言
shell 一直在用,但是没有系统的学习过。趁这次机会,整理下。复习下,也学习下。shell 是什么?Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。Shell 既是一种命令语言,又是一种程序设计语言。Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。shell 脚本Shell 脚本(shell script),是一种为 shell 编写的脚本程序。业界所说的 shell 通常都是指 shell 脚本,但读者朋友要知道,
2021-08-23 21:04:48
101
原创 DT交流总结【2018存档】
有幸,能向DT的几位大神学习用户打标签的相关知识。总结如下:不要神话机器学习,许多基础的工作还是需要苦力去完成数据>特征>模型>调参依靠经验去选择特征,依靠数据去判断特征合不合理构建良好的迭代循环无监督的方法,使用无监督的方式聚类之后,交由业务去执行,去反馈。...
2021-08-23 21:00:44
88
原创 Spark mllib KMeans 源码走读【2018存档】
本文基于Spark 1.6.3KMeans介绍K-Means算法是一种基于距离的聚类算法,采用迭代的方法,计算出K个聚类中心,把若干个点聚成K类。具体的数学推演可以参考这两篇:基本Kmeans算法介绍及其实现K-means聚类算法MLlib 中KMeans 实现介绍MLlib实现K-Means算法的原理是,运行多个K-Means算法,每个称为run,返回最好的那个聚类的类簇中心。初始的类簇中心,可以是随机的,也可以是KMean||得来的,迭代达到一定的次数,或者所有run都收敛时,算法就结束。
2021-08-23 20:59:19
135
原创 spark-submit 源码阅读【2018存档】
前言基于spark1.6 源码整体流程参考这个图整个流程,涉及3个sh,以两个类作为入口spark-submit-> spark-class-> load-spark-env.sh 加载conf 中的spark-env.sh 中的环境变量,配置scala 的版本-> 返回spark-class-> 一系列环境变量的校验,依赖包目录的校验、设置-> 执行 org.apache.spark.launcher.Main-> 执行 org.apache.sp
2021-08-23 20:57:49
107
原创 Spark 爬坑记录之percent_rank()【2017存档】
若在maven 中配置了 org.scala-tools maven-scala-plugin compile testCompile ${scala.version}.6 -target:jvm-1.7 无需再在IDEA中配置 scala 的sdk注意这一行,最好标注小版本 2.10.62.10.6
2021-08-23 20:54:00
324
原创 Spark 爬坑记录之开发Scala版本冲突【2017存档】
若在maven 中配置了 org.scala-tools maven-scala-plugin compile testCompile ${scala.version}.6 -target:jvm-1.7 无需再在IDEA中配置 scala 的sdk注意这一行,最好标注小版本 2.10.62.10.6
2021-08-23 20:50:47
201
原创 将基于Spark 2.x 开发的LDA 程序 迁移至Spark 1.6 的环境【2017存档】
前言对方提供的LDA 聚类程序,是基于Spark 2.x 的,但是,我们的生产环境是Spark 1.6。 恩那么问题就来了,怎么让基于Spark 2.x 的代码在Spark 1.6 上跑起来。第一个想法是,只要把SparkSession 改为SparkContext 和 SQLContext 就行了。然后发现自己真的图样图森破。对方非常高端的使用了ml库,当然这不是问题。对方是用python 写的,当然这也不是问题毕竟小学生都要学python了,作为一个程序员不会python 就说不过去了对方的pytho
2021-08-23 20:48:09
97
原创 数据挖掘 & Spark MLlib 经验记录【2017存档】
1.数据挖掘是有目的的,Spark只是工具在数据挖掘操作前,需要明确,通过这些计算,你希望从这一堆数据中获取到什么。不然只是每个算法跑一遍,也只能证明你调用Spark API 的能力合格了。在最开始的时候,进入了一个误区,以为社区炒的火热的Spark是全知全能的。数据挖掘什么的,Spark就能搞定了。然而,Spark毕竟只是一个工具,使用工具归根结底还是人。最开始,只是想掌握Spark这种技术而已,从而忽视了数据挖掘的目的(当然,这也和团队构成有关,一个产品经理加我一个研发,总觉得和业务相关的事由产品经
2021-08-23 20:46:40
188
原创 Spark开发环境搭建【2018存档】
Spark本地安装Java 安装Spark 安装PySpark 安装Java安装这一部分不多赘述,配置好Java 环境变量即可。Spark 安装在官网下载所需版本的Spark 压缩包解压至对应目录,如 C:\dev\spark1.6.3配置环境变量这时,进入cmd 命令行,可以启动。Pyspark 安装要求在本机已经安装好Spark。此外python 3.6 版本不兼容Spark 1.6,使用时需要注意。新增环境变量:PYTHONPATH值为:%SPARK_HOME%\
2021-08-23 20:42:04
92
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人