atporter的博客

官方代码地址 https://github.com/google-research/bert用SQuAD 1.1数据集fine fune时，遇到不少坑，在此分享一下一、环境1.报错：AttributeError: module ‘tensorflow._api.v2.train’ has no attribute ‘Optimizer’问题为tensorflow版本不正确，必须使用1.x版本，我使用的是tensorflow1.15.0注意：python3.8不支持tensorflow1.15.0，

多项式回归与模型泛化（1）1.多项式回归当数据之间不具有线性关系时，采用非线性回归进行拟合处理思想：将 x2x^2x2 当作一个新的特征，再应用线性回归from sklearn.linear_model import LinearRegressionX2 = np.hstack([X, X**2]) # 添加一个新的特征lin_reg = LinearRegression()lin_reg.fit(X2, y)y_predict = lin_reg.predict(X2)2.s

PCA1.主成分分析Principal Component Analysis是一个非监督的机器学习算法，主要用于数据的降维通过降维，可以发现更便于人类理解的特征其他应用：可视化，去噪2.主成分分析的推导过程考虑这样一个过程：将二维数据降维到一维最好的方案为：找到一个轴，使得样本空间的所有点映射到这个轴后，间距最大样本间间距——方差首先，将样例的均值归为0（demean），方差公式变为：Var(x)=1m∑i=1m(xi−x‾)2=1m∑i=1mxi2Var(x) = \frac{1}{

梯度下降法1.什么是梯度下降法是一种基于搜索的最优化方法，作用是最小化一个损失函数并不是一个机器学习算法！η\etaη 称为学习率（learning rate），是梯度下降法的一个超参数，其取值会影响获得最优解的速度。如果取值不合适，甚至得不到最优解并不是所有函数都有唯一的极值点解决方案：多次运行，随机化初始点（初始点也是超参数）2.梯度下降的代码实现def gradient_descent(initial_theta, eta, n_iters = 1e4, epsi

线性回归法1.简单线性回归样本特征只有一个，称为简单线性回归假设我们找到了最佳拟合的直线方程 y=ax+by = ax + by=ax+b则对于每一个样本点x(i)x^{(i)}x(i)，真值为y(i)y^{(i)}y(i)，其预测值为y^(i)=ax(i)+b\widehat{y}^{(i)} = ax^{(i)} + by​(i)=ax(i)+b我们用(y(i)−y^(i))2(y^{(i)}- \widehat{y}^{(i)})^2(y(i)−y​(i))2表示差距（不用绝对值是因

K近邻算法 —— KNN1.示意图判断绿点的种类，选取与它距离最近的三个点，其中红色占两个，蓝色占一个，所以预测它为红色种类2.KNN代码实现X_train：数据y_train：标签x：待预测数据import numpy as npfrom math import sqrtdistances = [sqrt(np.sum((x_train - x) ** 2)) for x_train in X_train]欧拉公式（计算距离）二维：(xa−xb)2+(ya−yb)2\sqrt

numpy和matplotlib (3)1.matplotlibimport matplotlib as mplimport matplotlib.pyplot as plt # 常用最基础的用法import numpy as npx = np.linspace(0, 10, 100)y = np.sin(x)plt.plot(x, y)plt.show() # Jupyter Notebook上不用show()也可以显示出来支持两条曲线，并设置参数x =

numpy和matplotlib (2)1.矩阵运算运算符：+、-、*、/、//、**、%……abs()sin() cos() tan()exp() log()power() log2() log10()dot() 矩阵乘法A * B 只是矩阵各位置相乘，A.dot(B) 才是矩阵乘法A.T 转置inv() 逆矩阵A# array([[0, 1],# [2, 3]])np.linalg.inv(A)# array([[

numpy和matplotlib (1)1.如何创建一个numpy.array?import numpy as npnparr = np.array([i for i in range(10)])# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])nparr.dtype# dtype('int32')其他的创建方式zeros()np.zeros(10, dtype=int)# array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0])n

Jupyter Notebook1.Jupyter Notebook关于Jupyter Notebook的介绍，请看 传送门Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；命令模式，键盘输入运行程序命令。按Enter进入编辑模式，按Esc进入命令行模式2.Jupyter Notebook的快捷键常用快捷键（命令行模式）Shift+Enter : 运行本单元，选中下个单元Ctrl+Enter : 运行本单元Alt+Enter : 运行本单

机器学习基础1.数据的一些概念萼片长度萼片宽度花瓣长度花瓣宽度种类5.13.51.40.20（se）7.03.24.71.41（ve）6.33.362.52（vi）数据整体叫数据集每一行数据称为一个样本除最后一列之外的每一列是样本的一个特征最后一列称为标记（label）2.数据的矩阵表示除最后一列外的数据，用矩阵X表示，X(i)X^{(i)}X(i)表示第i个样本行，Xj(i)X^{(i)}_jXj(i)​表示第i个样本

什么是机器学习1.最早的机器学习应用：垃圾邮件分辨传统做法：定义“垃圾邮件”，进行筛选问题：难定义、多变化2.人类的学习过程（经验学习）3.机器学习过程4.机器学习在生活中的应用google：根据部分关键字判断搜索内容最喜欢的商品，音乐，图书，文章……语音识别，人脸识别金融预测，医疗诊断5.未来领域无人驾驶、安全领域、医疗领域、金融领域、市场领域、各种专有领域……自然语言处理6.人工智能、机器学习、深度学习...