收集整理了一份《2024年最新Python全套学习资料》免费送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来
如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）
正文
注：这一部分的逻辑和单机版的保持一致，我没有做更改。
===================================================================
在集群的fate01上的/data/projects/fate目录下新建chapter05文件夹（单机版叫这个名字，我也懒得换了），进入chapter05文件夹然后新建data文件夹，然后将数据集放到该目录下的data目录中。
参与的节点重复上面的操作，每个节点放置一份数据。
完成数据转换，需要一个配置文件和一个启动程序，我演示第一个节点的操作。
编写训练集的配置文件
upload_train.json
{
“file”: “chapter05/data/breast_1_train.csv”, //训练集的路径，我们这次试用fate_flow_client.py上传数据，默认的home路径是/data/projects/fate,所以我们需要把剩下的路径补充完整
“head”: 1,
“partition”: 1,//是否要分区，小数据不用分区
“work_mode”: 1,//0是单机，1是集群，我们要注意
“table_name”: “homo_breast_1_train”,
“namespace”: “homo_host_breast_train”//后面这两个字段一个是数据集的名字和命名空间，这个在后面的配置中要用到。
}
编写验证集的配置文件
upload_eval.json
{
“file”: “chapter05/data/breast_eval.csv”, //训练集的路径，我们这次试用fate_flow_client.py上传数据，默认的home路径是/data/projects/fate,所以我们需要把剩下的路径补充完整
“head”: 1,
“partition”: 1,//是否要分区，小数据不用分区
“work_mode”: 1,//0是单机，1是集群，我们要注意
“table_name”: “homo_breast_eval”,
“namespace”: “homo_host_breast_eval”//后面这两个字段一个是数据集的名字和命名空间，这个在后面的配置中要用到。
}
上面的配置每个节点都配置一份，切分数据集时，训练集切了两份，验证集只有一份，所以验证集配置成一样的，训练我在fate01和fate03上使用的breast_1_train.csv，在fate02上用breast_2_train.csv，大家根据自己的情况修改配置文件即可。
下面执行上传数据的操作，有两种方式上传数据，一种是用fate_flow_client.py上传数据，一种使用flow命令上传数据，我在使用flow上传数据时遇到一些问题，所以先演示如何使用fate_flow_client.py上传数据。具体的详细使用可以查阅官方的文档。
官方文档：上传数据指南 — FATE documentation
启动虚拟环境，并进入chapter05下面，如图：
然后执行：
python …/fate_flow/python/fate_flow_client.py -f upload -c upload_train.json
-f ：函数名称
-c ：配置文件
将验证集也上传上去：
fate02和fate03重复上面的步骤，把训练集和测试传上去。
到这里数据集已经上传，接着就可以开始做训练了。
=================================================================
为了让任务模型的构建更加灵活，目前 FATE 使用了一套自定的领域特定语言 (DSL) 来描述任务。在 DSL 中，各种模块（例如数据读写 data_io，特征工程 feature-engineering， 回归 regression，分类 classification）可以通向一个有向无环图 （DAG） 组织起来。通过各种方式，用户可以根据自身的需要，灵活地组合各种算法模块。
除此之外，每个模块都有不同的参数需要配置，不同的 party 对于同一个模块的参数也可能有所区别。为了简化这种情况，对于每一个模块，FATE 会将所有 party 的不同参数保存到同一个运行配置文件（Submit Runtime Conf）中，并且所有的 party 都将共用这个配置文件。这个指南将会告诉你如何创建一个 DSL 配置文件。
官方的文档：DSL 配置和运行配置 V1 — FATE documentation
所以我们需要写一个DSL配置文件和Config文件。
1）DSL文件配置
文件名字：test_homolr_train_job_dsl.json
{
“components” : {
“dataio_0”: {
“module”: “DataIO”,
“input”: {
“data”: {
“data”: [
“args.train_data”
]
}
},
“output”: {
“data”: [“train”],
“model”: [“dataio”]
}
},
“dataio_1”: {
“module”: “DataIO”,
“input”: {
“data”: {
“data”: [
“args.eval_data”
]
},
“model”: [“dataio_0.dataio”]
},
“output”: {
“data”: [“eval_data”]
}
},
“feature_scale_0”: {
“module”: “FeatureScale”,
“input”: {
“data”: {
“data”: [
“dataio_0.train”
]
}
},
“output”: {
“data”: [“train”],
“model”: [“feature_scale”]
}
},
“feature_scale_1”: {
“module”: “FeatureScale”,
“input”: {
“data”: {
“data”: [
“dataio_1.eval_data”
]
}
},
“output”: {
“data”: [“eval_data”],
“model”: [“feature_scale”]
}
},
“homo_lr_0”: {
“module”: “HomoLR”,
“input”: {
“data”: {
“train_data”: [
“feature_scale_0.train”
]
}
},
“output”: {
“data”: [
“train”
],
“model”: [“homolr”]
}
},
“homo_lr_1”: {
“module”: “HomoLR”,
“input”: {
“data”: {
“eval_data”: [
“feature_scale_1.eval_data”
]
},
“model”: [
“homo_lr_0.homolr”
]
},
“output”: {
“data”: [
“eval_data”
],
“model”: [“homolr”]
}
},
“evaluation_0”: {
“module”: “Evaluation”,
“input”: {
“data”: {
“data”: [
“homo_lr_0.train”
]
}
}
},
“evaluation_1”: {
“module”: “Evaluation”,
“input”: {
“data”: {
“data”: [
“homo_lr_1.eval_data”
]
}
}
}
}
}
我在DSL里面配置了训练集组件和验证集组件，这个组件的配置在单机版的横向联邦中提到过。
2）Config配置文件
文件名字：test_homolr_train_job_conf.json
{
“initiator”: {
“role”: “guest”,
“party_id”: 9999
},
“job_parameters”: {
“work_mode”: 1
},
“role”: {
“guest”: [
9999
],
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。
别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。
我先来介绍一下这些东西怎么用，文末抱走。
（1）Python所有方向的学习路线（新版）
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
最近我才对这些路线做了一下新的更新，知识体系更全面了。
（2）Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
（3）100多个练手项目
我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。
（4）200多本电子书
这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。
基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。
（5）Python知识点汇总
知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。
（6）其他资料
还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。
这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
（6）其他资料
还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。
这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）
[外链图片转存中…(img-Nm3Ux4pW-1713861144559)]
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
1027
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
