2021年02月_bohu83

原创 Python sklearn 导出PMML报错

一报错二月 28, 2021 12:12:21 下午 org.jpmml.sklearn.Main run严重: Failed to convert PKL to PMMLjava.lang.IllegalArgumentException: Attribute 'sklearn.linear_model._logistic.LogisticRegression.multi_class' must be explicitly set to the 'ovr' or 'multinomial' v

2021-02-28 13:23:49 3777 1

原创 NLP学习笔记28：梯度下降梯度时间复杂度计算与收敛性推导

一序本篇属于贪心NLP训练营学习笔记。二逻辑回顾的梯度下降法逻辑回顾的目标函数：推导过程：NLP学习笔记21-逻辑回归2：决策边界，目标函数,凸函数，梯度下降梯度下降法结果的解释时间复杂度Gradient Descent Algorithm 这个很难直接给出时间复杂度。梯度下降法是一个迭代的过程，受到初始值。步长等因素影响。三 Convergence Analysis of Gradient Descent梯度下降法的收敛分析1. ...

2021-02-27 23:38:17 3416

原创 NLP学习笔记27-优化Optimization

一序本文属于贪心NLP训练营学习笔记系列。视频151 变分推断先跳过。二为啥要关注优化通常有关AI的问题可以分解为：模型+优化模型就是如何选择模型：逻辑回归、深度学习等，然后进行模型的实例化,例如选择深度学习,有几层，每层的参数等。实例化完毕之后，我们总是可以找到一个与实例化之后的模型相对应的objective function（目标函数），接下来就进入了优化的阶段。优化有很多算法，见截图，有了objective function之后，就是要归类，再选择合适的优化算法解决...

2021-02-25 23:15:35 1267

原创 XHR cross error 跨域问题解决

一问题后端的API，直接通过IP+端口访问没问题，直接访问域名也OK。通过别的域名跨域访问就异常了。console也明确提示：二修改以下为springboot bean注入方式。新增拦截器代码，public class CORSFilter extends GenericFilterBean implements Filter { @Override public void doFilter(ServletRequest request...

2021-02-24 23:25:35 9407

原创机器学习在医疗咨询分类的应用

一序真实数据非公开测试数据集，所以不能外泄。学习完线性回归模型之后，想再实际项目中应用下。项目背景：咨询需要分诊的类型如给医生、护士、客服等不同人处理。目前是人工处理分类。数据格式比较简单：分类结果，咨询内容。二技术方案首先，我们需要对数据进行处理，通过中文分词将原始内容转换为文本向量。随后，使用机器学习算法对数据进行训练，得到模型后使用测试数据集进行验证。三分词试验过，如果使用默认的TFIDF模型，分词的数据不太好。所以改用jieb...

2021-02-24 00:17:59 328

原创 NLP学习笔记26-Lasso Regression

一序本文属于贪心NLP训练营学习笔记系列。上节学完逻辑回归之后，本节学习的是逻辑回归的变种。二

2021-02-23 10:42:33 793

原创学习笔记：线性回归、普通最小二乘推导

一序本来是要接着看lasso的，属于逻辑回归的变种。因为我是0基础。逻辑回归看的太吃力，这篇看了知乎的大佬的好文章。给自己再补充下。我当时看知乎的问答帖子感受是这样的。大神的解释是看不懂的，啥是OLS啊？看不下去了。（反复提醒自己，0基础看机器学习就得先看数学基础）。看了大佬”化简可得“的这篇文章。感谢大佬愿意把深奥的知识用刚入门的小白也能看懂的形式分享出来。推荐看原文链接，我写的只是对作者文章的理解，不如原文好。https://zhuanlan.zhihu.com/p/72513.

2021-02-22 14:52:16 2147

原创 NLP学习笔记25-情绪识别实战及数据集下载

一序本文属于贪心NLP训练营学习笔记系列。这节课在线性回归及正则里面穿插的讲。对于从逻辑回归开始明显感到主要就是讲数学公式的推导了。好难。二情绪识别实战 Python吧就是看了点语法，所以本节课的内容我是对照李文哲老师的再本地敲了一边代码。2.1 数据准备：ISEAR.csv2.2 读取第一段就是导入 pandas,numpy. 第二段就是读取数据集ISEAR.csv. 这个数据model_selection主要提供交叉验证和结果评估的工...

2021-02-22 00:10:49 1710 3

原创数据结构串讲

本篇属于数据结构串讲内容。讲真，一说数学我就头大，一看LeetCode就头疼。一 hash242. Valid AnagramGiven two strings s and t, write a function to determine if t is an anagram of s.Example 1:Input: s = "anagram", t = "nagaram"Output: trueExample 2:Input: s = "rat", t = "car"O.

2021-02-21 20:48:39 221

原创 NLP学习笔记24-MLEvsMAP

一序本文属与贪心NLP训练营学习笔记系列。MLE：最大似然估计Maximum likelihood estimationMAP：最大后验估计Maximum a posterion estimation我们通常用机器学习就是要找到一个模型，然后解出这个模型的参数，这两个方法都是用来构建目标函数求解参数的。二区别MLE：在估计参数的过程中，仅仅靠观测到的数据（样本）来进行估计最好的那个参数。如果丢一个不均匀的硬币：正正正反反正那么从结果可以推算参数：=2/3MAP：不仅.

2021-02-21 11:35:27 375

原创 NLP学习笔记22-逻辑回归3：模型复杂度、过拟合、交叉验证

一序本文属于贪心NLP训练营学习笔记，接着上一篇NLP学习笔记21-逻辑回归2：决策边界，目标函数,凸函数，梯度下降。二当数据是线性可分When Data is Linearly Separable，上节课老师留的问题考虑以下情况，当数据是线性可分的时候，参数w为什么会趋向无穷大？以二分类为例。这样的两堆点，可能有很多条线能区分，在线性回归的情况下哪条线能更好。，对于逻辑回归来说，就是期望概率越大越好。对于正样本趋向于1，负样本趋向于0.对于p(y...

2021-02-19 17:42:00 1446

原创 NLP学习笔记23-抽样

一序本文属于贪心NLP训练营学习笔记系列。之前的Python基础以及numpy相关的内容，视频上是60--90的。还有一个关于Python做爬虫的。先跳过后面再看吧。二抽样抽样的目的：获取统计信息获取推断...

2021-02-18 23:18:27 370

原创 java POI读取docx中图片位置

一序之前用POI读取Word内容，但是图片位置没有（能获得文档中的所有图片，但是你并不能知道这些图片是在哪里）。看了大佬写的文章，才动手试一下：pom.xml:这个要注意，很多留言咨询问的主要是版本的问题。  <dependency> <groupId>org.apache.poi..

2021-02-18 17:47:32 2032 3

原创 padas 层次化索引

一序继续pandas学习。推荐下pandas的官网：https://www.pypandas.cn/docs/二层次化索引层次化索引是pandas的一项比较重要的功能，它能够让你在一个轴上拥有多个索引级别。另一种说法是它能以低维度的形式处理高维度的数据。三pandas文本格式数据处理read_csv:从文件、url、文件型对象加载带分隔符的数据，默认分隔符为逗号。read_table:从文件、url、文件型对象加载带分隔符的数据，默认分隔符为'\t'。...

2021-02-17 23:14:59 379

原创 pandas 学习笔记

一序本篇开始学习pandas. pandas是基于NumPy的一种数据分析工具，在机器学习任务中，我们首先需要对数据进行清洗和编辑等工作，pandas库大大简化了我们的工作量，熟练并掌握pandas常规用法是正确构建机器学习模型的第一步。二安装如何安装pandas，我没有安装Anaconda，用pip来安装：pip3 install pandas导入import pandas as pdpandas包含两种数据类型：series和dataframe。series是..

2021-02-17 18:42:46 176

原创 NLP-词性标注

一序本文属于贪心NLP训练营学习笔记。因为本节课需要用到numpy,所以前面老师插了几节Python，讲解下Python的基础语法与numpy的使用。二词性标注数学推导 s就是一句话，拆成的单词都做了词性标注。今天的主题主要有两部分，先从数学角度把这个公式推导出来，接下来分别要求解公式中的A、B（非句首的单词）、（句首的单词）维特比算法实现A：因为一个单词可能有多个词性，比如study既可以当做动词又可以做名词。所以假设有N个词性，M个单词，是一个...

2021-02-17 12:16:00 670

原创 numpy 文件处理

一序继续学习numpy基本操作。二算术函数 NumPy 算术函数包含简单的加减乘除:add()，subtract()，multiply()和divide()。需要注意的是数组必须具有相同的形状或符合数组广播规则。numpy.reciprocal()numpy.reciprocal() 函数返回参数逐元素的倒数。如1/4倒数为4/1。numpy.power()numpy.power() 函数将第一个输入数组中的元素作为底数，计算它与第二个输入数组中相应...

2021-02-16 21:31:39 486

原创 numpy矢量化运算

一序本文继续numpy学习。二矢量化运算numpy的数组通常在不用编写循环的情况下进行批量运算。一维数组二维数组其他操作：加减乘除，以乘法做例子NumPy 广播(Broadcast)广播(Broadcast)是 numpy 对不同形状(shape)的数组进行数值计算的方式，对数组的算术运算通常在相应的元素上进行。如果两个数组 a 和 b 形状相同，即满足a.shape == b.shape，那么 a*b 的结果就是 a 与 b 数组对应...

2021-02-16 16:52:22 2832

原创 numpy简介、安装及创建

一序 Python常用的数据处理框架，numpy 级pandas.先从numpy开始学习。NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。NumPy 是一个运行速度非常快的数学库，主要用于数组计算，包含：一个强大的N维数组对象 ndarray 广播功能函数整合 C/C++/Fortran 代码的工具线性代数、傅里叶变换、随机数生成等功能二numpy 应用Nu...

2021-02-14 23:56:19 292 1

原创 Python 闭包

一序本文继续Python学习。二闭包如果在一个函数内部，嵌套了函数，这个内部函数对（非全局作用域）外部作用域的变量进行引用，那么这个内部函数称为闭包。简单理解就是：返回值是函数的函数。看个例子：注意，不是返回的6，6，6.是应为每次print的时候并不是从foo从哪个头开始运行，而从之前的p接着运行。zhangsan就相当于do,可以传参数what.三装饰器接着上面的闭包，先来看个例子，就是把函数当做参数传给另一个函数。换个写法，用@来...

2021-02-14 22:04:34 139 1

原创 python入门系列：lambda表达式,map函数，列表推导式

一序来自runoob的基础看了一大半，剩下的用的再查，做了一些小测验https://www.runoob.com/quiz/python-quiz.html剩下的内容，可以接着贪心的NLP内容学习了。二lambda表达式lambda_expr ::= "lambda" [parameter_list] ":" expressionlambda_expr_nocond ::= "lambda" [parameter_list] ":" expression_..

2021-02-13 22:35:00 820 1

原创 Python3 标准库概览

一序本文继续Python入门基础学习，内容来自：https://www.runoob.com/python3/python3-stdlib.html二操作系统接口os模块提供了不少与操作系统相关联的函数。>>> import os>>> os.getcwd() # 返回当前的工作目录'/Users/benmu/jupyter'>>> os.chdir('/server/accesslogs') # 修改当前的...

2021-02-12 23:48:25 200

原创 Python 命名空间和作用域

一序本篇继续Python入门，学习Python的命名空间和作用域。来源：https://www.runoob.com/python3/python3-namespace-scope.html二命名空间命名空间提供了在项目中避免名字冲突的一种方法。各个命名空间是独立的，没有任何关系的，所以一个命名空间中不能有重名，但不同的命名空间是可以重名而没有任何影响。一般有三种命名空间：内置名称（built-in names）， Python 语言内置的名称，比如函数名 abs、ch...

2021-02-12 21:11:22 260

原创 NLP-朴素贝叶斯专题

一序本文属于贪心NLP学习笔记系列。本节课老师专题讲解朴素贝叶斯的相关数学知识。没有数学知识做支撑，寸步难行啊。二求最优解 (closed-form)背景知识，我开始不知道closed-form啥意思。闭式解(closed form solution）也叫解析解(analytical solution)，就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函

2021-02-11 23:55:25 443

原创 NLP技能树

本节课老师插播了一节NLP技能树，就是实际工作中、面试中主流的问题。对比下，可以作为自己的NLP学习目标参照，看看这份图谱里面。还有哪些没有掌握。太长没法截屏，xmind 导出图片不太清晰。...

2021-02-09 17:27:59 401

原创 Python3 面向对象

一序昨天看了NLP的逻辑回归的目标函数，满满的是公式推导，做梦还在计算f(w)=.想了想，这得从中学的数学开始学起啊。看点Python换换脑子，内容来自，https://www.runoob.com/python3/python3-class.html二面向对象简介类(Class):用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。方法：类中定义的函数。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中...

2021-02-09 15:46:58 146 1

原创 NLP学习笔记21-逻辑回归2：决策边界，目标函数,凸函数，梯度下降

一序本文属于贪心NLP学习笔记系列。二决策边界（Decision boundary）逻辑回归虽然带着回归两字却和线性回归有很大的区别，线性回归主要用于预测问题，其输出值为连续变量，而logistic回归主要用于分类问题，其输出值为离散值。logistic回归可以用于多元分类问题，也可以用于二元分类问题，但二元分类更为常用。老师再讲主题之前，先回顾上一节的逻辑回归函数：没看过可以先看上一篇NLP学习笔记20-逻辑回归条件概率线性的。而逻辑函数是非线性的。逻辑回归公...

2021-02-09 10:50:11 1348

原创 Python 输入输出

一序本文属于Python学习笔记系列，内容来自： https://www.runoob.com/python3/python3-inputoutput.html跳过：数据结构（前面简单介绍过列表、集合、字典）与模块（主要是引包）二输出输出格式美化Python两种输出值的方式: 表达式语句和 print() 函数。第三种方式是使用文件对象的 write() 方法，标准输出文件可以用 sys.stdout 引用。如果你希望输出的形式更加多样，可以使用 str.format()...

2021-02-07 23:56:37 794 1

原创 Python函数

一序本文属于Python入门学习系列。二函数函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。定义一个函数你可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以def关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。函数内容以冒号:起始，并且缩进。 return [表达式]结束函数，选择性地返回一...

2021-02-07 19:52:49 404 1

原创 Python3 迭代器与生成器

一序本文属于Python入门学习笔记，学习内容来自：https://www.runoob.com/python3/python3-iterator-generator.html二迭代器迭代是Python最强大的功能之一，是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。迭代器有两个基本的方法：iter()和next()。字符串，列表或元组对象都可用于创建迭代器：...

2021-02-07 17:38:49 223

原创 Python3 条件控制与循环

一序本篇继续Python入门。内容来自：https://www.runoob.com/python3/python3-conditional-statements.html二条件控制Python 条件语句是通过一条或多条语句的执行结果（True 或者 False）来决定执行的代码块。这个跟Java类似，就不多说了。主要是语法层面的区别：Python 中用elif代替了else if，所以if语句的关键字为：if – elif – else。注意：1、每个条件后面要...

2021-02-07 16:25:19 298

原创 NLP学习笔记20-逻辑回归

一序本文属于贪心NLP学习笔记系列。本章开始学习非常重要的逻辑回归。二逻辑回归2.1常用场景逻辑回归非常广泛在分类场景。·贷款违约情况（会违约/不会违约）·广告点击问题（会点击/不会点击）·商品推荐（会购买/不会购买）·情感分析（正面/负面）·疾病诊断（阳性/阴性）·还有其他很多分类问题……此外这个算法可以用来做baseline，很好，非常经典，非常优秀。未必比其他神经网络模型差很多。案例：有一批信用卡逾期的数据，年龄，工资，学历可以看做输入X，是否逾期...

2021-02-07 14:37:04 532

原创 python 第一步

本文继续学习Python入门，https://www.runoob.com/python3/python3-step1.html学习了一些 Python3 的基本语法知识，下面我们尝试来写一个斐波纳契数列。习惯性用递归，参照demo，容易犯错的点，没有大括号控制段落，改为：再看看教程的写法，感觉就是太简洁了，其中代码a, b = b, a+b的计算方式为先计算右边表达式，然后同时赋值给左边，等价于：n=bm=a+ba=nb=m右边的表达式会在赋值变动之前执行。..

2021-02-06 20:59:35 139 1

原创 Python3 字符串

一序本文继续Python入门学习，内容来自：https://www.runoob.com/python3/python3-string.html字符串是 Python 中最常用的数据类型。我们可以使用引号('或")来创建字符串。var1 = 'Hello World!'Python 访问字符串中的值Python 不支持单字符类型，单字符在 Python 中也是作为一个字符串使用。Python 访问子字符串，可以使用方括号[]来截取字符串。在需要在字符中使用特殊...

2021-02-06 20:31:18 285 1

原创 NLP学习笔记19-模型的评估

一序继续之前贪心NLP课程。之前的60节开始介绍的Python高及功能，争取春节假期期间补上。二模型的评价在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价本文针对二元分类器。准确率Accuracyacc: 准确率就是：正确的数/总数当我们的样本不平衡（正样本和负样本比例差距很大）的时候，准确率就不适合用来评估模型。老师举例子，肺癌假设1000人来检查，假设5个是确诊的，995是健康的。那么即使我不做任何处理，对于新的数据，直接...

2021-02-06 11:12:56 588

原创 Python3 数字(Number)

一序继续Python入门学习，内容来自：https://www.runoob.com/python3/python3-number.html这个跟Java类似，除了函数需要时查阅下外，可以快速略过。Python3 数字(Number)Python 数字数据类型用于存储数值。数据类型是不允许改变的,这就意味着如果改变数字数据类型的值，将重新分配内存空间。Python 支持三种不同的数值类型：整型(Int)- 通常被称为是整型或整数，是正或负整数，不带小数点。Python3 整..

2021-02-05 23:01:50 187

原创 Python3 解释器与运算符

一序本文继续Python入门学习，内容来自，https://www.runoob.com/python3/python3-interpreter.html二交互式编程我们可以在命令提示符中输入"Python"命令来启动Python解释器：当然方便的还是Jupiter了。代码+文档一起混着。三脚本式编程将如下代码拷贝至hello.py文件中：print ("Hello, Python!");通过以下命令执行该脚本：python3 hello.py...

2021-02-05 14:33:42 161

原创 Python3 基本数据类型

一序继续入门学习。内容来自：https://www.runoob.com/python3/python3-data-type.html二 python3 基础数据类型Python 中的变量不需要声明。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。在 Python 中，变量就是变量，它没有类型，我们所说的"类型"是变量所指的内存中对象的类型。等号（=）用来给变量赋值。等号（=）运算符左边是一个变量名,等号（=）运算符右边是存储在变量中的值。例如：多个变量赋值P

2021-02-03 23:51:21 186

原创 python 基础入门

一序因为好不容易，终于安装好jupyter了，可是老师把默认你有Python基础了，上来就讲高级功能：lambda表达式。看不懂啊，还是先自己学习下基础吧。就随手从网上找个入门的语法开始看看吧。https://www.runoob.com/python3/python3-tutorial.html二基础语法以下内容均来自runoob网站的介绍。挑几个自己觉得注意的。标识符第一个字符必须是字母表中字母或下划线_。标识符的其他的部分由字母、数字和下划线组成。标识..

2021-02-02 13:14:12 147 1

原创 mac 安装Jupyter Notebook

一序今天听课，发现老师开始穿插讲python函数了，上来就是打开Jupyter.这本地还没有呢，先安装一个。二安装优先推荐使用：Anaconda 安装，之前遇到过Python安装个东西，半天装不了的情况。我先看下，打开终端命令：which python3/Library/Frameworks/Python.framework/Versions/3.6/bin/python3我试试通过pip3 安装pip3 install jupyter结果就是一顿下载：...

2021-02-01 00:08:29 1741

JS权威指南（第四版）学习笔记.doc

空空如也