- 博客(37)
- 资源 (26)
- 收藏
- 关注
RSS订阅
原创 【机器学习】逻辑斯蒂回归原理
逻辑斯蒂函数引入： 在线性感知器算法中，我们使用了一个f(x)=x函数，作为激励函数，而在逻辑斯蒂回归中，我们将会采用sigmoid函数作为激励函数，所以它被称为sigmoid回归也叫对数几率回归（logisticregression），需要注意的是，虽然它的名字中带有回归，但事实上它并不是一种回归算法，而是一种分类算法。它的优点是，它是直接对分类的可能性进行建模的，无需事先假设数据分布，这...
2019-11-27 21:07:23
1335
原创 【数据分析】豆瓣电影Top250爬取的数据的可视化分析
#!-*- coding:utf-8 -*-import pandas as pdimport numpy as npimport matplotlib.pylab as pltimport refrom numpy import rankfrom builtins import mapfrom datashape.coretypes import Map#http://www.j...
2019-11-15 10:10:59
20698
6
原创 【机器学习】opencv-摄像头中的人脸采集
本次在视频识别的程度上增添了摄像头实时识别，区别在于： # v = cv2.VideoCapture('./dzd2.mp4') v = cv2.VideoCapture(0) import numpy as npimport cv2face_detector = cv2.CascadeClassifier('./haarcascade_frontalface_...
2019-11-07 20:14:29
2138
原创 【机器学习】Bagging和Boosting的区别（面试准备）
Baggging 和Boosting都是模型融合的方法，可以将弱分类器融合之后形成一个强分类器，而且融合之后的效果会比最好的弱分类器更好。Bagging:先介绍Bagging方法：Bagging即套袋法，其算法过程如下： 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没...
2019-11-28 22:27:39
571
原创 【数据分析】reshape(-1,1)和numpy的广播机制
在创建DataFrame的时候常常使用reshape来更改数据的列数和行数。reshape可以用于numpy库里的ndarray和array结构以及pandas库里面的DataFrame和Series结构。源数据reshape函数reshape（行，列）可以根据指定的数值将数据转换为特定的行数和列数，这个好理解，就是转换成矩阵。然而，在实际使用中，特别是在运用函...
2019-11-28 21:57:34
378
原创 【机器学习】六种算法在人脸补全中的应用比较（K紧邻，线性，决策树，岭回归，套索回归，ElasticNet）
需求：根据人的上半边脸预测下半边脸，用各种算法取得的结果与原图比较思考：这是一个回归问题，不是分类问题（人脸数据不固定） 数据集一共包含40个人，每一个人10张照片，分布规律每一个人取出8张照片作为训练数据，2张照片作为测试数据 样本特征和样本标签如何拆分？上半边脸作为样本特征，下半边脸作为特征标签————————————————人脸图像补全的方法用途及研究导包impor...
2019-11-28 19:56:49
1051
原创 【机器学习】逻辑斯蒂回归概率计算和手动计算对比
二分类，逻辑斯蒂回归概率计算import numpy as npfrom sklearn import datasetsfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitX,y = datasets.load_iris(True)...
2019-11-27 22:04:47
713
原创 【机器学习】总结：线性回归求解中梯度下降法与最小二乘法的比较
在线性回归算法求解中，常用的是最小二乘法与梯度下降法，其中梯度下降法是最小二乘法求解方法的优化，但这并不说明梯度下降法好于最小二乘法，实际应用过程中，二者各有特点，需结合实际案例具体分析。最后有两份最小二乘法和逻辑斯特推导方法1.最小二乘法求解线性回归线性回归的基本模型设定为：在此基础上构建代价函数：通过代价函数 求偏导并令其等于零，所得到 的即为模型参数的值：...
2019-11-27 21:24:19
1809
原创 【机器学习】岭回归
import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import mean_squared_error,r2_scorefrom sklearn impor...
2019-11-26 21:18:48
411
原创 【机器学习】回归误差：MSE、RMSE、MAE、R2、Adjusted R2 +方差、协方差、标准差(标准偏差/均方差）、均方误差、均方根误差(标准误差)、均方根解释
我们通常采用MSE、RMSE、MAE、R2来评价回归预测算法。1、均方误差：MSE（Mean Squared Error）其中，为测试集上真实值-预测值。def rms(y_test, y):return sp.mean((y_test - y) ** 2)2、均方根误差：RMSE（Root Mean Squard Error）可以看出，RMSE=sqrt（MS...
2019-11-26 21:10:22
24285
原创 【机器学习】自己手写实现线性回归，梯度下降 原理
导包import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.linear_model import LinearRegression创建数据X = np.linspace(2,10,20).reshape(-1,1)# f(x) = wx + by = np.random...
2019-11-26 19:28:29
868
原创 【机器学习】梯度下降原理
import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinef = lambda x :(x-3)**2+2.5*x-7.5f2 = lambda x :-(x-3)**2+2.5*x-7.5求解导数 导数为0 取最小值x = np.linspace(-2,5,100)y = f(x)plt.plot(x...
2019-11-25 20:57:17
214
原创 欧式距离与曼哈顿距离
欧式距离，其实就是应用勾股定理计算两个点的直线距离二维空间的公式其中，为点与点之间的欧氏距离；为点到原点的欧氏距离。三维空间的公式n维空间的公式曼哈顿距离，就是表示两个点在标准坐标系上的绝对轴距之和：图中红线代表曼哈顿距离，绿色代表欧氏距离，也就是直线距离，而蓝色和黄色代表等价的曼哈顿距离。曼哈顿距离——两点在南北方向上的距离加上在...
2019-11-23 09:47:46
1371
原创 【机器学习】交叉验证筛选参数K值和weight
交叉验证import numpy as npfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn import datasets#model_selection ：模型选择# cross_val_score: 交叉 ，validation：验证（测试）#交叉验证from sklearn.model_sele...
2019-11-21 22:13:15
1732
原创 【机器学习】熵、决策树、随机森林 总结
一、熵公式：−∑i=1np(xi)∗log2p(xi)-\sum_{i = 1}^{n}{p(xi)*log_2p(xi)}−i=1∑np(xi)∗log2p(xi)∑i=1np(xi)∗log21p(xi)\sum_{i=1}^{n}p(xi)*log_2\frac{1}{p(xi)}i=1∑np(xi)∗log2p(xi)1import numpy as np# 账号是...
2019-11-21 21:49:24
747
原创 【机器学习】sklearn实现---归类为5大类
sklearn实现---归类为5大类sklearn.preprocessing.scale()（最常用，易受异常值影响） sklearn.preprocessing.StandardScaler() sklearn.preprocessing.minmax_scale()（一般缩放到[0,1]之间，若新数据集最大最小值范围有变，需重新minmax_scale） sklearn.prepr...
2019-11-20 20:47:50
581
原创 01Pandas_数据结构
Pandas数据结构做python数据分析，数据挖掘，机器学习的童鞋应该都离不开pandas。在做数据的预处理的时候pandas尤为给力。本文主要介绍pandas中的两种数据结构：series,dataframe。import pandas as pd1.Series首先来介绍series数据结构。series 类似于一维数组的对象。对于series基本要掌握的是：构...
2019-11-20 20:26:33
133
原创 Python的DataFrame切片大全（包含多重索引）
码字不易，喜欢请点赞！！！摘要这篇主要讲解如何对pandas的DataFrame进行切片，包括取某行、某列、某几行、某几列、以及多重索引的取数方法。• 选取行名、列名、值• 以标签（行、列的名字）为索引选择数据—— x.loc[行标签,列标签]• 以位置（第几行、第几列）为索引选择数据—— x.iloc[行位置,列位置]• 同时根据标签和位置选择数据——x.ix[行,列]• 选...
2019-11-19 11:23:38
5743
1
原创 【解决】Win10修改host没有权限问题
Step1：右键文件选择属性，选择安全，点击编辑：Step2：在弹窗中点击添加，在弹窗中点击高级：Step3：在弹窗中点击立即查找，选中当前用户，点击确定：Step4：此时选中用户已经被加入进来，点击确定：Step5：选中添加的用户，选中完全控制，点击确定，完成！：...
2019-11-15 17:23:27
3858
2
原创 R 脚本读取汇总 Excel 表格数据
主要用到了xlsx和rJava包，打开 Excel 文件，读取各表格数据，再写入到汇总表。下图为处理前的原始数据表格：下图为处理后的数据：代码实现安装&加载包的函数实现。installed.packages()函数获取所有已安装的包，用以排除已安装的包。install.packages()函数安装指定的包。library()加载引入包。 ...
2019-11-13 22:15:18
942
1
原创 定时备份 MySQL 并上传到七牛
定时备份 MySQL 并上传到七牛多数应用场景下，我们需要对重要数据进行备份、并放置到一个安全的地方，以备不时之需。常见的 MySQL 数据备份方式有，直接打包复制对应的数据库或表文件(物理备份)、mysqldump全量逻辑备份、xtrabackup增量逻辑备份等。常见的数据存储方式有，本机存储、FTP 上传到远程服务器、云存储(如阿里云OSS、七牛云存储等)、甚至本地也行。...
2019-11-13 22:13:14
160
2
原创 【MySQL 】学习笔记千行总结
/* Windows服务 */-- 启动MySQL net start mysql-- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格)/* 连接与断开服务器 */mysql -h 地址 -P 端口 -u 用户名 -p 密码SHOW PROCESSLIST -- 显示哪些线程正在运行...
2019-11-13 22:07:48
277
原创 【数据分析】苹果公司股票数据处理
import numpy as npimport pandas as pdfrom pandas import Series,DataFrameapp = pd.read_csv('./AAPL.csv')app.shape(9814, 7)app.head() Date Open High ...
2019-11-13 21:56:24
1582
原创 【数据分析】使用pandas和numpy分析美国大选献金项目
1. 数据载入与总览1.1 数据加载#绘图工具import matplotlib.pyplot as plt%matplotlib inline#数据处理工具import numpy as npimport pandas as pdfrom pandas import Series,DataFrame#数据路径自己指定，本案例数据路径就在当前文件夹下面子文件夹us...
2019-11-13 21:32:31
1011
原创 pandas读写各种类型数据
read_X()通常是pandas模块下的，to_X()是dataframe的方法CSV读取使用pandas.read_csv()方法，返回的是一个dataframecsv默认是以"，"分割的csv文件内容1、read_csv()默认以第一行数据作为标题2、调用dataframe的head()方法可以返回所有行数据，若传入一个n，则返回前n行数据。默认n...
2019-11-13 21:15:43
3355
原创 Series和DataFrame、相关性及NaN处理
pandas核心数据结构pandas是以numpy为基础的，还提供了一些额外的方法Seriesseries用来表示一维数据结构，与python内部的数组类似，但多了一些额外的功能。series内部由两个相互关联的数组组成：主数组用来存放数组，可以是numpy中的任意数据类型；另一个数组用来存放索引，索引默认从0开始。朱数组中每个元素又有一个与之关联的索引。创建series对...
2019-11-13 21:11:26
7119
原创 np.random.seed(0)作用
在用python时时常会看到如下代码：import numpy as npnp.random.seed(0)其中np.random.seed(0)的作用是使得随机数据可预测，当我们设置相同的seed，每次生成的随机数相同。如果不设置seed，则每次会生成不同的随机数：...
2019-11-13 19:14:15
1786
原创 【R】语言第五课----画图
?plot#高级绘图函数 可以完整地绘制出一张图?mtcarsplot(mtcars$wt)plot(mtcars[,1:2])plot(mtcars)plot(mtcars$wt,mtcars$disp)plot(mtcars$wt,mtcars$disp,type='p')plot(mtcars$wt,mtcars$disp,type='l')plot(mtcars$wt,m...
2019-11-08 21:09:41
234
原创 【R】语言第四课----读取文件
install.packages("readxl")getwd()setwd("E:/作业4")library(readxl) tianmao<-read_excel('tianmaoTV.xlsx',skip=1)#把第一行跳过，直接从第二行开始读取#创建新变量tianmao['total_sales']<-tianmao$current_price*tianmao$...
2019-11-08 21:08:24
204
原创 【R】语言第三课----矩阵
#矩阵?matrixm<-matrix(1:6,nrow = 2,ncol=3, dimnames = list(c('r1','r2'),c('c1','c2','c3')))m#默认按列排列m<-matrix(1:6,nrow = 2,ncol=3,byrow = T, dimnames = list(c('r1','r2'),...
2019-11-08 21:05:20
238
原创 【R】语言第二课----- 变量的使用方法
num1<-c(9.1,8.2,7.3)num2<-1:10char<-c('a','b','c') #单引号or双引号都可以logit<-c(TRUE,FALSE,T,F)c(1,'a',TRUE)sex<-c('F','M','F','M')sexsexf<-factor(sex)sexfnum1[1]<-100 #索引一定要加方括...
2019-11-08 21:04:30
492
原创 【R】语言第一课-----安装
安装R和Rstuido软件R语言是用于统计分析，图形表示和报告的编程语言和软件环境；Rstudio是编辑、运行R语言的最为理想的工具之一。1、官网下载R安装包下载地址为：https://cran.r-project.org 进入链接，如下图所示，在页面顶部提供了三个下载链接，分别对应三种操作系统：Windows、Mac和Linux。请选择自己操作系统对应的链接，接下来我将以wi...
2019-11-08 21:03:13
319
原创 【numpy】20道numpy题目
1、创建一个长度为10的一维全为0的ndarray对象，然后让第5个元素等于1import numpy as npndarry =np.zeros(10)ndarryarray([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])ndarry[4]=1ndarryarray([0., 0., 0., 0., 1., 0., 0., 0., 0.,...
2019-11-07 20:25:25
16825
原创 【机器学习】opencv-视频中的人脸检测
本次在图片识别的程度上增添了视频识别原理就是在图片的基础上进行操作 每毫秒进行下一帧的人脸解析识别，时间可自行设置import numpy as npimport cv2win = cv2.namedWindow('dzd',cv2.WINDOW_NORMAL)cv2.resizeWindow('dzd',640,200)rose = cv2.imread('./ros...
2019-11-07 20:11:55
535
原创 【机器学习】图片中的人脸识别
通过opencv三方库进行图片人脸识别face_zones中的参数可以自行调试,这三个data都可以用于人脸识别haarcascade_frontalface_default.xml haarcascade_frontalface_alt.xml haarcascade_frontalface_alt2.xmlimport numpy as npimport cv2i...
2019-11-07 20:07:29
856
原创 【机器学习】opencv-数据预处理
想要将收集好的数据s进行统一命名 数量整理就需要提前进行预处理import numpy as npimport osimport randomimport cv2# wuao文件名修改，1~10文件名filename = os.listdir('./faces/wuao/')for i,name in enumerate(filename): os.re...
2019-11-07 20:03:31
693
原创 【机器学习】opencv-人脸识别
一 . opencv是什么及其作用？ OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法(百度百科)。 鉴于本人的工作环境主要是...
2019-11-07 19:57:59
517
1
dlib-python3.7/3.8的-win_amd64.whl
2022-06-03
【深度学习】Cifar-10-探究不同的改进策略对分类准确率提高
2019-12-21
【Tensorflow】人脸128个关键点识别基于卷积神经网络实现
2019-12-21
project12sadasd3.zip
2019-08-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人