一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了,安装就可直接上手!
三、最新Python学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、面试宝典
简历模板![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
jackson-databind-2.9.6-sources.jar
jackson-dataformat-msgpack-0.8.14.jar
mining.jar
msgpack-0.6.12.jar
msgpack-core-0.8.16.jar
(b)设置userconfig.xml文件参数
在集算器目录esProc\extlib\YModelCil下的userconfig.xml文件中设置参数
名称 | 参数说明 |
sAppHome | 易明建模的安装目录 |
sPythonHome | 易明建模目录的Python路径 Windows: raqsoft\ymodel\Python37 Linux: raqsoft/ymodel/Python37/bin/python3.7 |
iPythonServerPort | Python服务网络端口 |
iPythonProcessNumber | Python进程数 |
bAutoDecideImpute | 是否智能补缺 |
iResampleMultiple | 重抽样次数 |
其中必须要配置的参数为sAppHome和sPythonHome,其他参数可以采用默认值,有需要再进行修改。比如可以配置参数如下,加粗部分是必须要配置的,根据自己的安装路径。
<?xml version="1.0" encoding="UTF-8"?>
<Config Version="1">
<Options>
<Option Name="sAppHome" Value="C:\Program Files\raqsoft\ymodel"/>
<Option Name="sPythonHome" Value="C:\Program Files\raqsoft\ymodel\Python37\python.exe"/>
<Option Name="iPythonServerPort" Value="8510"/>
<Option Name="iPythonProcessNumber" Value="2"/>
<Option Name="bAutoDecideImpute" Value="true"/>
<Option Name="iResampleMultiple" Value="150"/>
</Options>
</Config>
其实,从这里可以看出,易明建模也是基于Python写的,但它将Python算法做了封装后,程序员就不必再理解算法的数学原理和运行细节了。
(c)SPL环境配置
1>. 配置外部库
打开SPL,在选项菜单里,外部库选择里勾选YModelCli,使其生效。外部库的路径为第(1)步骤中集算器YModelCli的安装路径。
在无图形界面的服务器中去集算器的安装目录下esProc\config\raqsoftConfig.xml文件中进行配置外部库路径和名称。
<extLibsPath>
外部库路径
<importLibs>
外部库名称(可多个)
2>. 线程数设置
如果有并发预测,还需要在SPL设置“最大并行数”,也就是线程数。设置多少用户根据需求和机器情况自行设定。
在无图形界面的服务器中去集算器的安装目录下esProc\config\raqsoftConfig.xml文件中进行配置。
<parallelNum>
最大并行数
到此,环境配置完成。
3. 建模和预测
(1)加载数据
SPL能支持csv,excel或数据库中的数据用于建模,这里以csv为例,其它数据源类似。
设有一个贷款违约数据表如下,需要建模来预测新用户是否会发生违约行为。
文件命名为bank-full.csv;
A | |
1 | =file(“bank-full.csv”).import@tc() |
2 | =ym_env() |
3 | =ym_model(A2,A1) |
A1 导入建模数据,读成序表
A2 初始化环境,执行A2后会在易明建模的安装目录下生成store目录及子目录用以保存数据及结果文件。
A3 加载建模文件,生成md对象
(2)目标变量设置和变量统计
数据加载进来后要设置目标变量
A | |
… | … |
4 | =ym_target(A3,“y”) |
5 | =ym_statistics(A3,“age”) |
6 | =A1.fname().(ym_statistics(A3,~)) |
A4 表示将字段“y”设置为目标变量,目标变量可以是二值变量或数值型变量。
A5 查看某个变量的统计指标,比如 “age”,返回值中可以看到缺失率,最大最小值,异常值,数据分布图等参数。
A6 循环变量名查看所有字段的统计信息,返回包含所有字段的统计信息二级序列。
(3)建立模型和模型表现
A | |
… | … |
7 | =ym_build_model(A3) |
8 | =ym_present(A7) |
9 | =ym_performance(A7) |
10 | =ym_importance(A7).sort@z(Importance) |
A7 使用建模函数建立模型,执行后在后台会进行全自动化数据预处理和建模过程,此过程会耗费一些时间,时间长短取决于数据量。结果返回pd模型对象。
模型建好后,可以调用pd模型对象查看模型信息、模型质量和重要度。
A8 返回模型AUC值及参数
A9 返回多种模型指标和图形,诸如AUC,ROC, Lift……
比如点击A9的第6条记录的Value,然后点击右上角“图形浏览”图标,数值字段选择“Lift”,就可以查看Lift曲线
A10 会返回每个变量对目标变量的影响程度并且按照重要度降序排列。数值越大对目标变量的影响程度越大。降序排列分析起来更加直观。
(4)保存模型
A | |
… | … |
11 | =ym_save_pcf(A7,“bankfull.pcf”) |
12 | =ym_json(A7) |
13 | >ym_close(A2) |
A11 将模型保存为”bankfull.pcf”,默认保存路径为[sAppHome]/store/predict。
A12 将模型信息以json串形式返回。json内容详解可参考在线文档《json参数说明》
A13 关闭环境,释放资源。
(5)预测
预测之前需要有pcf模型文件和预测数据集
最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!