minghegao的博客

原创 大数据竞赛---DC竞赛ANC

第四名--没事有我在 答辩ppt                                           ...

原创 大数据竞赛-----DC竞赛ANC

一.赛题介绍业务问题是预测客户是否会订购定期存款。数据  *注意：您可以在参加比赛或加入团队后下载数据。要获取所需的数据集，请访问以下网站：https：//pan.baidu.com/s/1tkCG1jlLfEo49sgGaBy72Q。 获取代码是j52p 该数据与葡萄牙银行机构的直接营销活动有关。 营销活动基于电话。 通常，如果产品（银行定期存款）是（'是'）或不...

原创 强化学习-------马尔科夫决策过程

重点：就是要得出策略，因此需要知道V*，因此需要知道V。然后有两种迭代方式求解，一是值迭代，而是策略迭代。对于Q函数，V函数的理解，可以通过那两个树状图理解比较容易；另外选择动作a后，到达s‘是有一定的概率的，不是选了a，s’就确定了，而是以一定的概率。 为什么要讲马尔科夫决策过程？因为几乎所有的强化学习问题都可以表述成马尔科夫决策过程（MDP）的形式，比如说：最优控制...

原创 统计学---总结

1.对于属性值数据可以用柱状图分析属性类别的数目等信息，以及行频率，列频率进行分析，以及饼状图，族形柱状图与结构柱状图（分组的柱形图和堆叠的柱形图）  2. 对于数值型数据，1）首先通过直方图观察数据分布，是单峰，双峰还是均匀分布，左偏还是右偏，还是对称的，2）然后分析中心趋势（中位数和均值）和离散趋势（四分位差，标准差，极差），通常，有偏分布，分析中位数和...

原创 统计学（三）---读书笔记

3）离群或异常分布离群值或者异常值，一般远离分布的主体，孤立于整体数据，因此需要注意。3.不对称分布的中心趋势与离散趋势1)中心趋势对于单峰且对称分布，数据分布中心就是将直方图对折，此时对称轴的中心就是就是分布的中心；若分布不对称或者多峰分布的情况下，可以用中位数表示代表性数据。中位数是反映数据中心趋势的方法之一。2）离散趋势若数据之间的差异程度越大，中位数带给我们的认识信...

原创 统计学（二）--读书笔记

第三章 定量数据的描述分析对于数值型数据，1）首先通过直方图观察数据分布，是单峰，双峰还是均匀分布，左偏还是右偏，还是对称的，2）然后分析中心趋势（中位数和均值）和离散趋势（四分位差，标准差，极差），通常，有偏分布，分析中位数和四分位差，对称分布，分析均值和标准差，注意，对于单峰分布，其四分位数差通常比标准差要大，若不是这样，需要重新检查数据分布是不是无偏的，有没有异常值存在。3）...

原创 统计学基础（一）----读书笔记

第一章 统计与数据 1.数据分析的5个W和一个H：数据分析的第一步，明确你为什么（why，也就是目的）要分析这些数据，数据表中的每一行指代的是谁（who），涉及哪些变量（what，数据表中的列名），至少在明确认识了这三个因素之后，才能进行数据的描述和解释。此外，最好知道when（时间），where（地点）以及how（如何解决的）2.抽样调查抽样调查的种类：1）简单随机抽样...

原创 matplotlib——可视化函数总结

1.画饼图https://blog.csdn.net/roguesir/article/details/78178365plt.pie(x, explode=None, labels=None, colors=None, autopct=None, pctdistance=0.6, shadow=False,labeldistance=1.1, startangle=None, rad...

原创 数据竞赛函数方法总结

原创 强化学习----动态规划

强化学习-----第三课 动态规划一.简介动态规划算法是解决复杂问题的一个方法，算法通过把复杂问题分解为子问题，通过求解子问题进而得到整个问题的解。在解决子问题的时候，其结果通常需要存储起来被用来解决后续复杂问题。当问题具有下列特性时，通常可以考虑使用动态规划来求解：1）第一个特性是一个复杂问题的最优解由数个小问题的最优解构成，可以通过寻找子问题的最优解来得到复杂问题的最优解；...

原创 安装 geopandas 时出现错误 Command "python setup.py egg_info" failed with error code 1

https://blog.csdn.net/smalltankpy/article/details/71194862https://geoffboeing.com/2014/09/using-geopandas-windows/需要安装依赖的包，可以用pip安装，如果仍然不成功，需要到 https://www.lfd.uci.edu/~gohlke/pythonlibs/找到 GDAL, ...

原创 机器学习特征工程（二）

3.分析每两列特征之间的相关性        -----相关系数：两个随机变量x,y之间的线性相关程度（使用 corr（）函数，只能分析数值型特征之间的关系）        -----相关性可以通过计算相关系数或打印散点图来发现 (使用pandas.corr()能够得出特征与标签之间相关系数，或皮尔逊系数等；通过xgboost，lightgbm的feature_importance查看特征...

原创 机器学习之特征工程

1.数据处理 2.特征工程 3.模型设计 4.模型融合一.数据探索分析       （该部分主要使用可视化工具可视化数据集，便于观测各个特征之间以及特征与标签之间的关系，有助于初步了解数据，掌  握数据趋势走向，以及为后期的特征工程服务） 工具:对数据进行探索性分析的工具包：pandas，matplotlib/seaborn 1.读取训练数据，取少量样本进行观测，并查看数据的...