love2study-CSDN博客

原创代码模拟线性回归解决机器学习问题

代码模拟线性回归解决机器学习问题# 数据的导入from sklearn.datasets import load_bostonX,y = load_boston(return_X_y = True)print(X.shape,y.shape)# (506, 13) (506,)# 数据的预处理from sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScaler

2022-04-21 17:50:21 1176

原创算法的时间复杂度

算法的时间复杂度数据结构：在内存中存储管理数据数据库：在磁盘中存储管理数据书籍：严蔚敏–数据结构 C实现殷人昆–数据结构 C++实现算法的复杂度衡量一个算法的好坏，一般从时间和空间两个维度来衡量的。时间复杂度主要衡量一个算法的运行快慢，而空间复杂度主要衡量一个所需要的额外空间。不太关注空间，主要关注时间（由于存储容量已经达到了很高的程度，不需要关注算法的空间复杂度）时间复杂度算法的时间复杂度是一个函数，算法的基本操作的执行次数，为算法的时间复杂度。冒泡排序：O(N2)O(N^2)O(N

2022-04-19 19:02:17 363

原创 kaggle之California Housing Data (1990)sklearn

import pandas as pddf = pd.read_csv("housing.csv")print(df.head())print(df.shape)df = df.drop(["longitude","ocean_proximity"],1)df.head()## 由于近海的值与经度的值差不多，故删除df.dropna(inplace=True) # 将其中含有缺乏值的去除 #(20433, 8)#数据的预处理from sklearn.preprocessing

2022-04-15 17:22:57 1231

原创线性回归与线性分类

线性回归与线性分类线性回归函数定义激活函数: hθ=wTx+θ0(w:(θ1,θ2,θ3...,θn))h_\theta=w^Tx+\theta_0 (w:(\theta_1,\theta_2,\theta_3...,\theta_n))hθ=wTx+θ0(w:(θ1,θ2,θ3...,θn))由于为了评估预测值与实际输出值的差值，定义代价函数:J(θi)=12n∑i=1n(hθ(x(i))−y(i))2J(\theta_i)=\frac{1}{2n}\sum_{i =1}^{n}(h_\

2022-04-15 17:13:32 712

原创 python与矩阵

python与矩阵矩阵的逆：np.linalg.inv（matrix）矩阵对角线：matrix.diagonal（）矩阵的迹：matrix.diagonal（）.sun（）矩阵的秩：np.linalg.matrix_rank(matrix )矩阵的行列式：np.linalg.det(matrix)返回均值：np.mean(matrix)返回方差：np.var(matrix)返回标准差：np.std(matrix)计算两个向量的点积：np.dot(vector_a, vector_b)/ve

2022-04-13 15:41:04 290

原创 Feasibility of Learning

Feasibility of LearningNFL定理没有免费午餐(No Free Lunch)：机器学习在D以外的数据中更接近目标函数似乎时做不到的，只能保证对训练集有很好的分类结果，这种特性被称为没有免费午餐定理（NFL）。NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法。平常所说的一个学习算法比另一个算法更“优越”，效果更好，只是针对特定的问题，特定的先验信息，数据的分布，训练样本的数目，代价或奖励

2022-04-11 17:12:22 947

原创 PLA感知机

PLA感知机基本原理输入特征向量x，有n个特征，每个特征有wi(1<=i<=n)w_i(1<=i<=n)wi(1<=i<=n),即输出为wTxw^TxwTx,若大于阈值，则输出1，小于阈值，则输出-1。若阈值设为w0w_0w0模型表达式h(x)=sign(∑i=1nwixi−w0)=sign(∑i=1nwixi−w0(1))=sign(∑i=0nwixi)h(x)=sign(\sum_{i=1}^{n}w_ix_i-w_0)=sign(\sum_{i=1}^{n

2022-04-11 09:48:51 121

原创 An Improved Training Algorithm for Support Vector Machines阅读（1）

概要传统的QP问题是解决线性的约束二元方程组，并且只能解决小几千的数据。故笔者提出了SVM解决QP问题，并且不限制数量。导论前人的SVM政策局限：支持向量的数量比较小，支持向量的总数不超过3000。而笔者可以解决这两个问题，并且虽然在论文中展示的是分类问题，但是仍然可以解决回归问题。支持向量机简述泛化误差：经过训练集训练后，模型通过测试集的误差，被称为测试误差交叉验证：将数据集分为测试集和训练集的方法叫做交叉验证一个简单的分类问题，需要找到一个超平面，使得这个平面，最大化到两个类的距离（m

2022-04-10 15:16:00 836

原创卷积神经网络CNN

卷积神经网络CNN的结构图像→\rightarrow→卷积层→\rightarrow→池化层→\rightarrow→全连接层→\rightarrow→输出卷积层卷积：通过对图像进行卷积运算，对图像的某个特诊进行选择性地增强或者减弱。卷积层中使用多个过滤器对输入图像的特征进行侦测。图像的值对应的是该点的颜色。通道数：在一般的图像数据中，每个颜色都包含RGB三种颜色。一副图像的张数称为通道数。过滤器与输入图像有相同数量的通道。偏置：每个过滤器都对应一个偏置。池化层池化：池化层负责将图像的各个

2022-03-31 20:09:30 2904

原创全连接神经网络 MLP

全连接神经网络–MLP全连接神经网络，又叫多层感知机，是一种连接方式较为简单的人工神经网络，是前馈神经网络的一种。MLP的神经网络架构网络架构为：通过输入层，隐藏层，输出层三个网络层组成，其中隐藏层可以有多层。BP传播的原理梯度下降法正向传播，对网络层的输出进行传播，反向传播，对输入的梯度进行传播。输出层：偏置的梯度权重的梯度输入的梯度中间层：偏置的梯度权重的梯度输入的梯度网络层下表神经元数量输入层il中间层jm输出层k

2022-03-31 19:37:22 35919 1

原创神经网络的入门

神经网络入门神经网络的介绍单个神经细胞的模型化神经元：多个输入---->权重—>偏置—>激励函数—>输出符号表示：x为输入函数，W为权重，b为偏置常量，f为激励函数，y为输出则y=f（∑（xi∗wi+b)）y=f（\sum（x_i * w_i+b)）y=f（∑（xi∗wi+b)）神经元的网络化在神经网络中，网络层包括输入层，中间层（隐藏层），输出层。正向传播：从转递输入信息到产生输出的过程反向传播：从输出向输入逆向传递信息的过程符号表示：前面网络层有m个，后

2022-03-31 19:16:39 1259

原创动态内存管理

动态内存管理栈区：局部变量，函数的形式参数堆区：动态内存分配malloc/free，calloc，realloc静态区：全局变量，静态变量mallocvoid* malloc(size_t size);如果开辟成功，则返回一个指向开辟好空间的指针如果开辟失败，返回一个NULL指针，因此malloc的返回值一定要做检查返回的类型是void*，所有malloc函数并不知道开辟空间的类型，具体在使用的时候使用者自己来决定如果参数size为0，malloc的行为是标准是未定义的，

2022-03-31 17:48:33 83 1

原创指针的学习

指针内存会划分为小的内存单元，每个内存单元都会有一个编号，这个编号被称为地址。这个地址也叫指针。内存单元 = 地址 = 指针指针或者地址，要存储，就可以放到：指针变量中。指针的大小是固定的4/8个字节（32/64位平台）指针是有类型，指针的类型决定了指针的+整数的步长，指针解引用的时候的权限。字符指针int main(){ char ch ='w'; char * pc =&ch; *pc = 'a'; print("%c\n",ch);//a return

2022-03-31 17:46:00 980

原创字符串和内存函数

字符串和内存函数#include<stdio.h>#include<string.h>int main(){ //char a = "0"; char arr[] = "abcdef"; char arr1[] = {'a','b','c','d','e','f'}; char arr2[] = {'a','b','c','d','e','f'，'\0'}; char arr3[10] = {'a','b','c','d','e','f'}; int

2022-03-31 17:43:41 70

原创自定义类型（结构体、枚举、联合体）的学习

自定义类型：结构体，枚举，联合体结构体的基础知识结构体是一些值的集合struct tag{ member_list;}variable-list;struct Stu{ char name[20]; int age; double score;};struct Book{ char name[20]; float price; char id[12];};struct Stu s1;//全局int main(){ struct Stu

2022-03-25 13:26:42 514 4

m0_64881386的博客