dfly_zx的博客

编写代码最重要一条，是怎样复用其他程序员的代码和思路来解决问题。通过修改他人的代码来解决复杂问题是种错误的做法，不仅成功的机率很低，就算成功也不会提供什么经验。按照这种方式进行编程，无法成长为一名真正的程序员，在软件开发领域，前景也是非常有限。一旦问题达到了一定规模，期望程序员从头开发一个解决方案不太现实，这会导致程序员大量时间浪费在低效率工作中，并且极大地依赖程序员精通各个方面的知识。另外，这种做法也容易导致程序充满缺陷或难以维护。良好的复用和不良的复用良好的复用帮助我们编写更好的程序，并

pyecharts是一个用于生成Echarts图表的类库。实际上就是 Echarts 和 Python 的对接。 Echarts 是百度开源的一个数据可视化 JS 库。主要用于数据可视化。安装pyecharts 兼容 Python2 和 Python3。目前版本为 0.1.6pip install pyecharts入门首先开始来绘制你的第一个图表from pyecharts import Barbar = Bar("我的第一个图表", "这里是副标题")bar.ad...

各篇简介Python可视化43|「plotnine≈Python版ggplot2」plotnine是图层图形语法（The Grammar of Graphics）在python中的实现，是ggplot2的python版，使用方法和ggplot2几乎一样。ggplot2的强大可参考：R基础及可视化教程全集Python可视化|Matplotlib40-「LaTeX」 in Matplotlib和python多种方式实现在图形中添加latex字符、数学公式等。Python

现如今大数据已人尽皆知，但在这个信息大爆炸的时代里，空有海量数据是无实际使用价值，更不要说帮助管理者进行业务决策。那么数据有什么价值呢？用什么样的手段才能把数据的价值直观而清晰的表达出来？答案是要提供像人眼一样的直觉的、交互的和反应灵敏的可视化环境。数据可视化将技术与艺术完美结合，借助图形化的手段，清晰有效地传达与沟通信息，直观、形象地显示海量的数据和信息，并进行交互处理。数据可视化的应用十分广泛,几乎可以应用于自然科学、工程技术、金融、通信和商业等各种领域。下面我们基于Python，简单地介绍一下适用于

一个问题你觉得厄瓜多尔产的苹果能吃吗？也许你一看到这个问题的时候有点摸不着头脑，但倘若暂不去究根问底，而只是集中回答题干本身的话，相信很多人都会不假思索地反应出“能吃”这个答案。好了，那我们的问题就是，你是如何判断出厄瓜多尔的苹果能吃的呢？在你短暂的思考过程中，你经过了怎样的逻辑推断呢？事实上，有这样两个思考过程是必经之路：1、判断苹果一般都能吃；2、确认厄瓜多尔的苹果也属于苹果的一种。由于以上这两个条件的支撑，很多人都会产生“厄瓜多尔产的苹果能吃”这样的结论，这很正常。不仅如此

一、 kano模型简介KANO 模型是东京理工大学教授狩野纪昭（Noriaki Kano）发明的对用户需求分类和优先排序的工具，以分析用户需求对用户满意度的影响为基础，体现了产品性能和用户满意度之间的非线性关系。KANO模型将需求分为五种类型，下图展示了不同类型的需求对用户满意度的影响。图中的横坐标代表一个需求的实现程度高低，越往右越高。纵坐标代表用户的满意度，越往上越高。这里的满意度从低到高就是从不满意一直到满意，在中间是没有不满意和没有满意的中间状态，也就是用户觉得理所当然的状态。图

机器学习调参经验分享我发现大多数的机器学习相关的书都是遍历各种算法和案例，为大家讲解各种各样算法的原理和用途，但却对调参探究甚少。这中间有许多原因，其一是因为，调参的方式总是根据数据的状况而定，所以没有办法一概而论；其二是因为，其实大家也都没有特别好的办法。通过画学习曲线，或者网格搜索，我们能够探索到调参边缘（代价可能是训练一次模型要跑三天三夜），但是在现实中，高手调参恐怕还是多依赖于经验，而这些经验，来源于：1）非常正确的调参思路和方法2）对模型评估指标的理解3）对数据的感觉和经验

引言模型优化是机器学习算法实现中最困难的挑战之一。机器学习和深度学习理论的所有分支都致力于模型的优化。机器学习中的超参数优化旨在寻找使得机器学习算法在验证数据集上表现性能最佳的超参数。超参数与一般模型参数不同，超参数是在训练前提前设置的。举例来说，随机森林算法中树的数量就是一个超参数，而神经网络中的权值则不是超参数。其它超参数有：神经网络训练中的学习率支持向量机中的 参数和 参数k 近邻算法中的 参数……超参数优化找到一组超参数，这些超参数返回一个优化模型，该模型减少了预定义的损失函数，进而

导读ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。介绍维基百科上说，“Hyperparameter optimization或tuning是为学习算法选择一组最优的hyperparameters的问题”。ML工作流中最困难的部分之一是为模型找到最好的超参数。ML模型的性能与超参数直接相关。超参数调优的越好，得到的模型就越好。调优超参数可能是非常乏味和困难的，更像是一门艺术而不是科学。超参数超参数是在建立模型时用于控制算法行为的.

在传统的软件开发中，一个 bug 通常会导致程序崩溃。这对用户来说是很烦人的，因此解决这些问题对开发人员来说很重要——当程序失败时，开发人员可以检查错误以了解原因。在机器学习模型中，开发人员有时会遇到错误，但经常会在没有明确原因的情况下导致程序崩溃。虽然这些问题可以手动调试，但机器学习模型通常由于输出预测不佳而失败。更糟糕的是，当模型失败时，通常没有信号显示模型失败的原因或时间。而使情况更为复杂的是，这可能是由于一些因素造成的，包括糟糕的训练数据、高损失误差或缺乏收敛速度。在这篇博客文章中，我们

无论是 Kaggle 竞赛还是工业部署，机器学习模型在搭建起来之后都面临着无尽的调优需求。在这个过程中我们要遵循怎样的思路呢？如果准确性不够，机器学习模型在真实世界就没有什么实用性了。对于开发者们来说，如何提高性能是非常重要的工作，本文将介绍一些常用策略，包括选择最佳算法、调整模型设置和特征工程。如果你学习过正确的教程，很快就能训练起自己的第一个机器学习模型。然而想要在第一个模型上跑出很好的效果是极难的。在模型训练完后，我们需要花费大量时间进行调整以提高性能。不同类型的模型有不同的调优策略，在本文中

在使用机器学习算法过程中，针对不同的问题需要不用的模型评估标准，这里统一汇总。主要以两大类分类与回归分别阐述。一、分类问题1、混淆矩阵混淆矩阵是监督学习中的一种可视化工具，主要用于比较分类结果和实例的真实信息。矩阵中的每一行代表实例的预测类别，每一列代表实例的真实类别。　　　　　　真正(True Positive , TP)：被模型预测为正的正样本。假正(False Positive , FP)：被模型预测为正的负样本。假负(False Negative , FN)：被模型预

引例一个测试样本集S总共有100张照片，其中，电动车的照片有60张，摩托车的照片有40张。给模型（二分类模型）输入这100张照片进行分类识别，我们的目标是：要找出这100张照片中的所有电动车。在100张照片中，模型识别给出了50个电动车目标，剩下50个则是摩托车。这与实际的情况有出入（实际是：电动车60个，摩托车40个）。正例与负例正例：Positives，即你所关注的类别，本次问题在与找出电动车的照片，那么电动车的照片自然就是正例。负例：Negatives, 二分类问题中，正例之外即负例，本问

在机器学习建模过程中，针对不同的问题，需采用不同的模型评估指标。主要分为两大类：分类、回归。一、分类1、混淆矩阵2、准确率（Accuracy）3、错误率（Error rate）4、精确率（Precision）5、召回率（Recall）6、F1 score7、ROC曲线8、AUC9、PR曲线10、对数损失（log_loss）11、分类指标的文本报告（classification_report）二、回归1、平均绝对误差（MAE）2、均方误差（MSE）3、均方根误差（RMS

Before going to the coding part, we must be knowing that why is there a need tosplita single data into 2 subsets i.e. training data and test data.在进行编码之前，我们必须知道为什么需要将单个数据分为2个子集，即训练数据和测试数据。So, at first, we would be discussing the training data. We u...

笔者邀请您，先思考：1 您使用过哪些深度学习框架？2 您用过Keras吗？您用Keras解决什么问题？在本文中，我们将使用Keras构建一个简单的神经网络。我们假设您对机器学习包(如scikit-learn)和其他科学包(如panda和Numpy)有一定的了解。训练一个人工神经网络训练一个人工神经网络包括以下步骤：权值被随机初始化为接近零但不是零的数。 将数据集的观察喂给输入层。 正向传播(从左到右):激活神经元，得到预测值。 将预测结果与实际值进行比较并计算误差。 反向

SVM（support vector machine）支持向量机：注意：本文不准备提到数学证明的过程，一是因为有一篇非常好的文章解释的非常好：支持向量机通俗导论（理解SVM的三层境界），另一方面是因为我只是个程序员，不是搞数学的（主要是因为数学不好。），主要目的是将SVM以最通俗易懂，简单粗暴的方式解释清楚。线性分类：先从线性可分的数据讲起，如果需要分类的数据都是线性可分的，那么只需要一根直线f(x)=wx+b就可以分开了，类似这样：这种方法被称为：线性分类器，一个线性分类器的学习目标.

虽然这篇是一看就懂的教程，但是仍然建议你有一些先修知识：具有基本的数学素养：微积分，线性代数，统计学 具有简单的编程基础：了解一点Git和Github的知识，简单的Python知识如果不具备以上条件的话，可以从以下一些入手:网上有哪些学习微积分的好网站？3Blue1Brown的线性代数和微积分视频文科生想自学一点统计学，看哪些入门书籍比较好？[Git] 简易Git使用指南[Github] Github简易使用指南[Python]手把手教程：Python制作番茄钟当然如果你

我们自己产生模拟数据，看一下k-means运行情况，主要目的是熟悉一下API接口。基于scikit包中的创建模拟数据的API创建聚类数据，使用K-means算法对数据进行分类操作，并获得聚类中心点以及总的样本簇中心点距离和值。接口介绍1）make_blobs这是产生数据的API接口 （产生团状的，或者说是服从高斯分布的数据）参数n_samples : int or array-like, optional (default=100)，样本数 n_features : int, opt..

文章目录距离度量 曼哈顿距离 欧氏距离 最近邻算法 K-近邻算法 算法实现 决策规则 KNN算法实现 测试数据 丁香花分类 加载数据集 训练测试数据划分 训练模型 模型预测 准确率计算 K 值选择距离度量曼哈顿距离曼哈顿距离又称马氏距离，是计算距离最简单的方式之一。公式如下：d m a n = ∑ i = 1 N ∣ X i − Y i ∣ d_{man}=\sum_{i=1}^{N}\left | X_{i}-Y_{i} \right |dman.

决策树(Decision Tree,又称为判定树)算法是机器学习中常见的一类算法，是一种以树结构(包括二叉树和多叉树)形式表达的预测分析模型。每个决策点实现一个具有离散输出的测试函数，记为分支。决策树由结点和有向边组成。结点有两种类型: 内部结点和叶节点。内部节点表示一个特征或属性，叶节点表示一个类。一、决策树的结构决策树通常有三个步骤：特征选择、决策树生成、决策树的修建。特征选择是建立决策树之前十分重要的一步。如果是随机地选择特征，那么所建立决策树的学习效率将会大打折扣。通常我们在选择特

文章目录介绍 Sigmoid分布函数 逻辑回归模型 对数损失函数 梯度下降法 逻辑回归实现 加载数据 函数代码汇总 逻辑回归 逻辑回归 scikit-learn 实现介绍逻辑回归（Logistic Regression），又叫逻辑斯蒂回归，是机器学习中一种十分基础的分类方法，由于算法简单而高效，在实际场景中得到了广泛的应用。本次实验中，我们将探索逻辑回归的原理及算法实现，并使用 scikit-learn 构建逻辑回归分类预测模型。Sigmoid分布函数..

文章目录前置知识 一元线性回归 Step1 导入数据 Step2 一元函数代码实现 Step3 平方损失函数代码实现 Step4 最小二乘法代码实现 Step4.1 代数方式实现 Step4.2 矩阵方式实现 Step5 计算参数和平方损失值 Step5.1 使用代数最小二乘函数实现 Step5.2 使用矩阵最小二乘函数实现 线性回归scikit_learn实现 线性回归预测实战 导入数

数据预处理是建立机器学习模型的第一步(也很可能是最重要的一步)，对最终结果有决定性的作用：如果你的数据集没有完成数据清洗和预处理，那么你的模型很可能也不会有效——就是这么简单。人们通常认为，数据预处理是一个非常枯燥的部分。但它就是「做好准备」和「完全没有准备」之间的差别，也是表现专业和业余之间的差别。就像为度假做好事先准备一样，如果你提前将行程细节确定好，就能够预防旅途变成一场噩梦。那么，应该怎么做呢?本文将带你领略，如何在任意的数据集上，针对任意一个机器学习模型，完成数据预处理工作。第一步，导入

作者：城东链接：https://www.zhihu.com/question/29316149/answer/110159647来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。目录1 特征工程是什么？2 数据预处理　　2.1 无量纲化　　　　2.1.1 标准化　　　　2.1.2 区间缩放法　　　　2.1.3 标准化与归一化的区别　　2.2 对定量特征二值化　　2.3 对定性特征哑编码　　2.4 缺失值计算　　2.5 数据变换3 特征选择　.

在构建推荐系统的过程中，冷启动是我们要面临的一个很现实的问题，而除了加特征，加样本，加图谱，加规则，还有其他方法吗？推荐系统用户画像，是解决冷启动和兴趣探索问题一种有效地方法，但item上的标签要通过一种怎么样的方式转移到用户身上呢？常见的做法是用户点击或者购买了某个item，则这个item上标签则被标记到了user身上。那么，除了这种直接的方式，还是否有其他的更系统的方法呢？本文和大家分享下关于用户画像的一些东西。今天我们先从用户画像的标签权重开始聊起吧。用户画像：即用户信息标签化，通

作者：姑婆那些事儿链接：https://www.zhihu.com/question/19853605/answer/132472825来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。谈到“用户画像”，很多伙伴都不陌生，什么用户属性、用户行为张嘴就来，但是你真的弄懂了用户画像的意义与构建方法吗？用户画像有什么用？用户画像包括哪些方面？在做用户画像的时候我们应该注意些什么？今天就让姑婆来为你答疑解惑。一、首先，咱们还是来看看用户画像的定义用户画像是根.

“用户画像作为一种设计工具，可以很好得帮助设计师跳出“为自己设计”的惯性思维，聚焦目标用户，发现核心价值，赋能产品，在互联网各类型产品中有广泛的应用。在产品研发过程中，产品、设计、研发等人员经常会提到“我们要为目标用户设计”、“我们的用户是谁”等字眼，可见找准目标用户在产研过程中至关重要。用户画像作为一种设计工具，可以很好得帮助设计师跳出“为自己设计”的惯性思维，聚焦目标用户，发现核心价值，赋能产品，在互联网各类型产品中有广泛的应用。”前言：当我们在淘宝搜索一本书时，淘宝就会推送相关书籍，再回到首.

现在都流行讲大数据，但对于大部分人来说，会觉得那是个很复杂很难研究的事物。其实并不是，对于我们这些用户运营者来说，其实已经可以利用大数据的简单应用来帮助我们做好精准化的营销了。尤其是利用大数据做商品偏好分析，从而对用户进行精准推荐。一、商品偏好数据在行业的简单应用当你逛淘宝、美团点外卖、刷抖音视频的时候，有没有发现，每次一打开这些应用大概率出现的都会是你会感兴趣，或者是你曾浏览过的相关内容：例：你在一家线上店铺买了一根鱼竿，然后在其他地方逛的时候，就会给你推送相关的鱼钩，渔夫帽，遮阳伞等商品。

为什么我的 “产品卖点” 比别人多，用户还是买了别人的？这届消费者是不是有毛病？一、被感觉操控的我们你可能不会相信，我们95%的行为决策其实都是由情绪和感受主导。尤其是当我们信息不足，无法全盘斟酌的时候，我们更容易跟着感觉走。比如：华盛顿和密尔沃基，你觉得哪个城市的人口更多？大多数人选择的是华盛顿，但其实密尔沃基人口更多为什么我们这么选？因为华盛顿给我们的感觉更熟悉。我们下意识的觉得，听起来更熟悉的城市，人口应该会更多。我们不仅不会承认自己是凭感觉选的，事后一定还会用理性去解释：