如何使用 CatBoost 进行快速梯度提升_catboost改进(1)

• 可用于回归和分类问题。

训练参数

让我们看一下CatBoost中的常用参数：

• loss_function 别名为 objective -用于训练的指标。这些是回归指标，例如用于回归的均方根误差和用于分类的对数损失。
• eval_metric —用于检测过度拟合的度量。
• iterations -待建的树的最大数量，默认为1000。别名是 num_boost_round， n_estimators和 num_trees。
• learning_rate 别名 eta -学习速率，确定模型将学习多快或多慢。默认值通常为0.03。
• random_seed 别名 random_state —用于训练的随机种子。
• l2_leaf_reg 别名 reg_lambda —成本函数的L2正则化项的系数。默认值为3.0。
• bootstrap_type —确定对象权重的采样方法，例如贝叶斯，贝努利，MVS和泊松。
• depth —树的深度。
• grow_policy —确定如何应用贪婪搜索算法。它可以是 SymmetricTree， Depthwise或 Lossguide。 SymmetricTree 是默认值。在中 SymmetricTree，逐级构建树，直到达到深度为止。在每个步骤中，以相同条件分割前一棵树的叶子。当 Depthwise 被选择，一棵树是内置一步步骤，直到指定的深度实现。在每个步骤中，将最后一棵树级别的所有非终端叶子分开。使用导致最佳损失改善的条件来分裂叶子。在中 Lossguide，逐叶构建树，直到达到指定的叶数。在每个步骤中，将损耗改善最佳的非终端叶子进行拆分
• min_data_in_leaf 别名 min_child_samples —这是一片叶子中训练样本的最小数量。此参数仅与 Lossguide 和 Depthwise 增长策略一起使用。
• max_leaves alias num_leaves —此参数仅与Lossguide 策略一起使用， 并确定树中的叶子数。
• ignored_features —表示在培训过程中应忽略的功能。
• nan_mode —处理缺失值的方法。选项包括 Forbidden， Min，和 Max。默认值为 Min。当 Forbidden 使用时，缺失值导致错误的存在。使用 Min，缺少的值将作为该功能的最小值。在中 Max，缺失值被视为特征的最大值。
• leaf_estimation_method —用于计算叶子中值的方法。在分类中，使用10 Newton 次迭代。使用分位数或MAE损失的回归问题使用一次 Exact 迭代。多分类使用一次 Netwon 迭代。
• leaf_estimation_backtracking —在梯度下降过程中使用的回溯类型。默认值为 AnyImprovement。 AnyImprovement 减小下降步长，直至损失函数值小于上次迭代的值。 Armijo 减小下降步长，直到满足 Armijo条件 。
• boosting_type —加强计划。它可以plain 用于经典的梯度增强方案，也可以 用于或 ordered，它在较小的数据集上可以提供更好的质量。
• score_function — 分数类型， 用于在树构建过程中选择下一个拆分。 Cosine 是默认选项。其他可用的选项是 L2， NewtonL2和 NewtonCosine。
• early_stopping_rounds —当时 True，将过拟合检测器类型设置为， Iter 并在达到最佳度量时停止训练。
• classes_count —多重分类问题的类别数。
• task_type —使用的是CPU还是GPU。CPU是默认设置。
• devices —用于训练的GPU设备的ID。
• cat_features —具有分类列的数组。
• text_features -用于在分类问题中声明文本列。

回归示例

CatBoost在其实施中使用scikit-learn标准。让我们看看如何将其用于回归。

与往常一样，第一步是导入回归器并将其实例化。

拟合模型时，CatBoost还可以通过设置来使用户可视化 plot=true：

它还允许您执行交叉验证并使过程可视化：

同样，您也可以执行网格搜索并将其可视化：

我们还可以使用CatBoost绘制树。这是第一棵树的情节。从树上可以看到，每个级别的叶子都在相同的条件下被分割，例如297，值> 0.5。

CatBoost还为我们提供了包含所有模型参数的字典。我们可以通过遍历字典来打印它们。

如何自学黑客&网络安全

黑客零基础入门学习路线&规划

初级黑客
1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）

2、渗透测试基础（一周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础（一周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）

4、计算机网络基础（一周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）
恭喜你，如果学到这里，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web 渗透、安全服务、安全分析等岗位；如果等保模块学的好，还可以从事等保工程师。薪资区间6k-15k

到此为止，大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗？

如果你想要入坑黑客&网络安全，笔者给大家准备了一份：282G全网最全的网络安全资料包评论区留言即可领取！

7、脚本编程（初级/中级/高级）
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力.

如果你零基础入门，笔者建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习；搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP， IDE强烈推荐Sublime；·Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，不要看完；·用Python编写漏洞的exp,然后写一个简单的网络爬虫；·PHP基本语法学习并书写一个简单的博客系统；熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)；·了解Bootstrap的布局或者CSS。

8、超级黑客
这部分内容对零基础的同学来说还比较遥远，就不展开细说了，附上学习路线。

网络安全工程师企业级学习路线

如图片过大被平台压缩导致看不清的话，评论区点赞和评论区留言获取吧。我都会回复的

视频配套资料&国内外网安书籍、文档&工具

当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。

一些笔者自己买的、其他平台白嫖不到的视频教程。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！