算法
文章平均质量分 95
MuNian123
这个作者很懒,什么都没留下…
展开
-
零基础小白深度学习入门篇
觉得小编不错请关注加点赞谢谢一、人工智能和新科技革命2017年,围棋界发生了一件比较重大的事,Master(AlphaGo)以60连胜横扫天下,击败各路世界冠军,人工智能以气势如虹的姿态出现在我们人类面前。围棋曾经一度被称为“人类智慧的堡垒”,如今,这座堡垒也随之成为过去。从2016年三月份AlphaGo击败李世石开始,AI全面进入我们大众的视野,对于它的讨论变得更为火热起来,整个业界普遍认为,它很可能带来下一次科技革命,并且,在未来可预见的十多年里,深刻的改变我们的生活。其实,A...原创 2020-05-19 12:50:27 · 8700 阅读 · 1 评论 -
数据降维算法——主成分分析
数据降维数据降维在机器学习中非常有用,可以用来舍弃数据中一些区分度较小的特征,转化数据的观察视角,使其在更少量的特征维度上也有较好的表现。数据降维也可以用在将高维数据可视化的操作中,这都是不可或缺的重要算法,PCAPCA(Principal Components Analysis)主成分分析法,是一种常用的数据降维算法。PCA的主要思路,是选取数据特征中一些较低维度的空间,让数据在...原创 2020-04-16 14:53:53 · 1022 阅读 · 0 评论 -
搞懂Transformer结构,看这篇PyTorch实现就够了!
来源 | 哈工大SCIR"Attention is All You Need"[1] 一文中提出的Transformer网络结构最近引起了很多人的关注。Transformer不仅能够明显地提升翻译质量,还为许多NLP任务提供了新的结构。虽然原文写得很清楚,但实际上大家普遍反映很难正确地实现。所以我们为此文章写了篇注解文档,并给出了一行行实现的Transformer的代码。本文档删除了原...翻译 2020-03-07 15:54:44 · 1927 阅读 · 0 评论 -
Keras实现CNN:手写数字识别准确率99.6%
在安装过Tensorflow后,后安装Keras默认将TF作为后端,Keras实现卷积网络的代码十分简洁,而且keras中的callback类提供对模型训练过程中变量的检测方法,能够根据检测变量的情况及时的调整模型的学习效率和一些参数. 下面的例子,MNIST数据作为测试import pandas as pdimport numpy as npimport matplotlib.pypl...原创 2020-03-07 15:50:49 · 1700 阅读 · 0 评论 -
使用矩阵分解找到相似歌曲
### 加载数据在本文中,我使用与我第一篇文章相同的[Last.fm数据集](http://www.dtic.upf.edu/~ocelma/MusicRecommendationDataset/lastfm-360K.html)。使用Pandas,你只需要几行代码,就可以把它加载到一个稀疏矩阵中:```python# read in triples of user/artist/pl...原创 2019-11-15 14:51:33 · 882 阅读 · 0 评论 -
婚礼规模:我是如何使用Twilio, Python和Google来自动化我的婚礼的
原文:Wedding at Scale: How I Used Twilio, Python and Google to Automate My Wedding2016年9月3日,对世界上的大多数人来说,或许就只是普普通通的一天,但对我而言,将会是一个难忘的日子,因为在那一天,我结婚了。在规划婚礼时,要考虑许多不同的方面。食物、装饰、桌子装置(啊,是哒,这独立于装饰)、鲜花、住宿、交通...翻译 2019-11-15 14:45:44 · 293 阅读 · 0 评论 -
使用预测算法追踪实时健康趋势
测量什么,管理什么为什么是血压数据?我的一个朋友被诊断为高血压,并决心用数据来降低它。根据疾病预防控制中心统计数据,有多大三分之一的美国人患有高血压,这将带来患心脏疾病和中风的高风险。我是一个Python程序员,认为我可以构建一个而简单无服务器的健康显示面板来帮助我的朋友测量和了解他的血压。第一步是使用便宜的血压监视器和Withings应用来建立测量血压并记录的例行程序。然后,我们将使...原创 2019-11-15 14:40:33 · 1311 阅读 · 1 评论 -
使用非常少的数据构建强大的图像分类模型
我们将经历下面过程: 从无到有训练一个小型网络(作为基线) 使用预先训练的网络的瓶颈特征 微调预先训练的网络的顶层 这将让我们涵盖以下的Keras特征: 用于使用Python数据生成器训练Keras模型的fit_generator 用于实时数据增强的ImageDataGenerator 冻结层和模型微调 ...等等。 ...原创 2019-11-15 14:34:00 · 1532 阅读 · 0 评论 -
tensorflow基础模型之RandomForest(随机森林)算法
随机森林算法原理请参照上篇:随机森林。数据依旧为MNIST数据集。代码如下:from __future__ import print_function# Ignore all GPUs, tf random forest does not benefit from it.import osimport tensorflow as tffrom tensorflow....原创 2019-07-03 13:29:20 · 2499 阅读 · 0 评论 -
tensorflow基础模型之KMeans算法
tensorflow执行KMeans算法。代码如下:from __future__ import print_function# Ignore all GPUs, tf random forest does not benefit from it.import osimport numpy as npimport tensorflow as tffrom t...原创 2019-07-03 13:27:05 · 720 阅读 · 0 评论 -
tensorflow基础模型之KNN(最邻近值)算法
KNN算法原理,本文将用tensorflow使用KNN算法训练MINST数据集。Codes:from __future__ import print_function, divisionimport numpy as npimport tensorflow as tf# 导入MNIST数据from tensorflow.examples.tutorials.mnist imp...原创 2019-07-03 13:26:26 · 493 阅读 · 0 评论 -
用Python实现机器学习算法——线性回归算法
Python 被称为是最接近 AI 的语言。最近一位名叫Anna-Lena Popkes(德国波恩大学计算机科学专业的研究生,主要关注机器学习和神经网络。)的小姐姐在GitHub上分享了自己如何使用Python(3.6及以上版本)实现7种机器学习算法的笔记,并附有完整代码。所有这些算法的实现都没有使用其他机器学习库。这份笔记可以帮大家对算法以及其底层结构有个基本的了解,但并不是提供最有效的实现。...原创 2019-06-24 13:51:19 · 1390 阅读 · 0 评论 -
RBF神经网络以及Python实现
RBF网络能够逼近任意非线性的函数。可以处理系统内难以解析的规律性,具有很好的泛化能力,并且具有较快的学 习速度。当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢,比如BP网络。如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络,...原创 2019-06-24 13:35:02 · 17051 阅读 · 6 评论 -
随机森林
一、什么是随机森林?作为新兴起的、高度灵活的一种机器学习算法,随机森林(Random Forest,简称RF)拥有广泛的应用前景,从市场营销到医疗保健保险,既可以用来做市场营销模拟的建模,统计客户来源,保留和流失,也可用来预测疾病的风险和病患者的易感性。最近几年的国内外大赛,包括2013年百度校园电影推荐系统大赛、2014年阿里巴巴天池大数据竞赛以及Kaggle数据科学竞赛,参赛者对随机森林的...原创 2019-06-24 13:25:26 · 630 阅读 · 0 评论 -
K-近邻回归算法的实用介绍
介绍在我所遇到的所有机器学习算法中,KNN很容易被选择。尽管它很简单,但它在某些任务上被证明是非常有效的(如本文中所见)。甚至更好?它可以用于分类和回归问题!然而,它更广泛地用于分类问题。我很少看到KNN在任何回归任务上被实现。我的目的是说明和强调KNN在目标变量本质上是连续的时,如何同样有效。在本文中,我们将首先理解KNN算法背后的直觉,看看计算点之间距离的不同方法,然后最后在大...原创 2019-06-24 13:22:46 · 923 阅读 · 0 评论 -
12种降维技术的全面指南
介绍你曾经做过超过一千个特性的数据集吗?那超过50000个特征的呢?我有,让我告诉你,这是一项非常具有挑战性的任务,特别是如果你不知道从哪里开始!拥有大量的变量既是一种恩惠又是一种诅咒。我们有大量的数据用于分析,但由于大小而具有挑战性。在微观层面上分析每一个变量是不可行的。我们可能需要花上几天或几个月的时间来进行任何有意义的分析,我们将损失大量的时间和金钱来做生意。更不用说这将需要多少计算...原创 2019-06-24 12:50:54 · 5390 阅读 · 0 评论 -
Jupyter Notebook 快速入门
Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言。在本文中,我们将介绍 Jupyter notebook 的主要特性,以及为什么对于希望编写漂亮的交互式文档的人来说是一个强大工具。安装$ pip install jupyter运行$ jupyter notebook运行上面的命令之后,...原创 2019-06-24 12:38:40 · 1288 阅读 · 0 评论 -
tensorflow基础模型之线性回归
基础的线性回归模型。代码如下(已详细注释):from __future__ import print_functionimport matplotlib.pyplot as pltimport numpyimport tensorflow as tfrng = numpy.random# 参数learning_rate = 0.01training_epochs...原创 2019-06-28 14:47:11 · 213 阅读 · 0 评论 -
tensorflow基础模型之逻辑回归
接上一篇 线性回归,这篇是基础模型中的逻辑回归模型。其中数据来自经典的MNIST手写数字数据集。from __future__ import print_functionimport tensorflow as tf# 导入MNIST数据from tensorflow.examples.tutorials.mnist import input_datamnist = i...原创 2019-06-28 14:48:53 · 177 阅读 · 0 评论 -
Python机器学习零基础入门 -- 骨科患者的生物力学特征分析处理下
# 监督式学习# 探索性数据分析'''监督式学习我们将学习线性回归和逻辑回归这个骨科患者的数据不适合回归,所以我只使用了sacral_slope和pelvic_incidence of abnormal这两个特征我认为特征是pelvic_incidence,目标是sacral_slope让我们看一下散点图,以便更好地理解它的形状(-1,1):如果您不使用它形状的x或y becaom...原创 2019-07-18 13:40:17 · 809 阅读 · 0 评论 -
阈值分割
import cv2import matplotlib.pyplot as plt# 灰度图读入img = cv2.imread('gradient.jpg', 0)# 阈值分割,ret:return value缩写,代表当前的阈值,暂时不用理会ret, th = cv2.threshold(img, 127, 255, cv2.THRESH_BINARY)cv2.imshow(...原创 2019-06-11 16:28:50 · 235 阅读 · 0 评论 -
使用BigQuery和TensorFlow进行需求预测
要开发该模型,我们将需要获得出租汽车使用的历史数据。该数据存在于BigQuery中。让我们通过查看模式开始吧。In [25]: import gcp.bigquery as bq import pandas as pd import numpy as np In [26]: %%bigquery schema --table "nyc...原创 2019-09-29 14:04:16 · 407 阅读 · 0 评论 -
使用Python和Pandas处理大量JSON数据集
处理大量的JSON数据集可能会很痛苦,特别是当它们太大而无法装入内存时。在这种情况下,命令行工具和Python的组合可以为探索和分析数据提供一种有效的方式。在这篇文章中,我们将看看如何利用像Pandas这样的工具来探索和绘制出Maryland州Montgomery郡的警察活动。我们开始会一起看一下JSON数据,然后过渡到勘探和分析。当数据存储在SQL数据库时,它倾向于遵循一个看起来像一个表的刚...原创 2019-09-29 14:01:21 · 4368 阅读 · 0 评论 -
AES加密
AES 加密高级加密标准(AES,Advanced Encryption Standard)为最常见的对称加密算法。对称加密算法也就是加密和解密用相同的密钥,具体的加密流程如下图:在线测试网址加解密测试各部分作用明文 P待加密的明文数据密钥 K用来加密明文的密码(对称加密中加解密为同一个密钥)密钥传输不可以直接在网络上传输,否则会导致密钥泄漏...原创 2019-09-29 13:52:59 · 996 阅读 · 0 评论 -
Python机器学习零基础入门 -- 骨科患者的生物力学特征分析处理
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns# 列出输入目录中的文件import warningsfrom subprocess import check_output# 忽略警告,warnings.filterwarnings('ignore')...原创 2019-07-17 15:11:23 · 894 阅读 · 0 评论 -
机器学习之K-Means实战与调优
K-Means类主要参数KMeans类的主要参数有:1) n_clusters: 即k值,一般需要多试一些值以获得较好的聚类效果。k值好坏的评估标准在下面会讲。2)max_iter: 最大的迭代次数,一般如果是凸数据集的话可以不管这个值,如果数据集不是凸的,可能很难收敛,此时可以指定最大的迭代次数让算法可以及时退出循环。3)n_init:用不同的初始化质心运行算法的次数...原创 2019-07-16 21:44:07 · 868 阅读 · 0 评论 -
Python机器学习零基础入门 -- Pima印第安人糖尿病发病数据集统计分析
查看对应的版本# 下载和安装Python和SciPy# Python versionimport sysprint('Python: {}'.format(sys.version))# scipyimport scipyprint('scipy: {}'.format(scipy.__version__))# numpyimport numpyprint('numpy: {...原创 2019-07-16 21:41:24 · 3886 阅读 · 2 评论 -
美国警方致命枪击案数据可视化分析 下
percent_over_25_completed_highSchool.percent_completed_hs.replace(['-'],0.0,inplace = True)percent_over_25_completed_highSchool.percent_completed_hs = percent_over_25_completed_highSchool.percent_co...原创 2019-07-18 19:39:31 · 1210 阅读 · 0 评论 -
美国警方致命枪击案数据可视化分析 上
import numpy as np # linear algebraimport pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)import seaborn as snsimport matplotlib.pyplot as pltfrom collections import Counter# 输入数...原创 2019-07-18 19:38:48 · 1203 阅读 · 0 评论 -
Keras教程:使用Keras开始深度学习和Python(上)
概述:包括什么内容呢用Keras训练第一个简单的神经网络不需要很多代码,但是我们将慢慢开始,逐步进行,确保您理解如何在自己的自定义数据集上训练网络。我们今天要讨论的步骤包括: 在系统上安装Keras和其他依赖项 从磁盘加载数据 创建训练和测试分支 定义您的Keras模型体系结构 编译你的Keras模型 训练你的训练数据模型 ...原创 2019-06-24 12:30:18 · 2101 阅读 · 2 评论 -
使用Python中的Featuretools实现自动化特征工程的实用指南
任何参与机器学习黑客马拉松和竞赛的人都知道特征工程的重要性。自从我意识到它具有巨大的潜力以来,我一直是特征工程的巨大倡导者。但手动完成时,这可能是一个缓慢而艰巨的过程。我必须花时间集思广益,讨论哪些功能,并从不同的角度分析它们的可用性。现在,整个FE(Feature Engineering,特征工程)流程都可以实现自动化,我将在本文中向您展示。 资料来源:VentureBeat我们将使用名...原创 2019-06-24 12:29:13 · 2493 阅读 · 1 评论 -
霍夫变换
import cv2import numpy as np# 1. 霍夫直线变换img = cv2.imread('shapes.jpg')drawing = np.zeros(img.shape[:], dtype=np.uint8) # 创建画板gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)edges = cv2.Canny(gray...原创 2019-06-11 16:46:58 · 270 阅读 · 0 评论 -
腐蚀与膨胀
import cv2import numpy as np# 1.腐蚀与膨胀img = cv2.imread('j.bmp', 0)kernel = np.ones((5, 5), np.uint8)erosion = cv2.erode(img, kernel) # 腐蚀dilation = cv2.dilate(img, kernel) # 膨胀cv2.imshow('e...原创 2019-06-11 16:38:35 · 538 阅读 · 0 评论 -
边缘检测
import cv2import numpy as np# 1.Canny边缘检测img = cv2.imread('handwriting.jpg', 0)edges = cv2.Canny(img, 30, 70)cv2.imshow('canny', np.hstack((img, edges)))cv2.waitKey(0)# 2.先阈值,后边缘检测# 阈值分割(...原创 2019-06-11 16:36:41 · 277 阅读 · 0 评论 -
图像混合
import cv2import numpy as np# 1.图片相加x = np.uint8([250])y = np.uint8([10])print(cv2.add(x, y)) # 250+10 = 260 => 255print(x + y) # 250+10 = 260 % 256 = 4# 2.图像混合img1 = cv2.imread('len...原创 2019-06-11 16:34:12 · 262 阅读 · 0 评论 -
绘图功能
import cv2import numpy as np# 创建一副黑色的图片img = np.zeros((512, 512, 3), np.uint8)# 1.画一条线宽为5的蓝色直线,参数2:起点,参数3:终点cv2.line(img, (0, 0), (512, 512), (255, 0, 0), 5)# 2.画一个绿色边框的矩形,参数2:左上角坐标,参数3:右下角坐...原创 2019-06-11 16:32:47 · 198 阅读 · 0 评论 -
图像几何变换
import cv2img = cv2.imread('drawing.jpg')# 1.按照指定的宽度、高度缩放图片res = cv2.resize(img, (132, 150))# 按照比例缩放,如x,y轴均放大一倍res2 = cv2.resize(img, None, fx=2, fy=2, interpolation=cv2.INTER_LINEAR)cv2.ims...原创 2019-06-11 16:31:56 · 314 阅读 · 0 评论 -
层次聚类算法
import pandas as pd#参数初始化standardizedfile = '../data/standardized.xls' #标准化后的数据文件k = 3 #聚类数data = pd.read_excel(standardizedfile, index_col = u'基站编号') #读取数据from sklearn.cluster import Agglomer...原创 2019-06-14 16:36:08 · 262 阅读 · 0 评论 -
菜品盈利数据 帕累托图
from __future__ import print_functionimport pandas as pd#初始化参数dish_profit = '../data/catering_dish_profit.xls' #餐饮菜品盈利数据data = pd.read_excel(dish_profit, index_col = u'菜品名')data = data[u'盈利'].c...原创 2019-06-14 16:36:34 · 856 阅读 · 0 评论 -
线性回归
线性回归加载txt和csv文件加载npy文件归一化feature画二维图梯度下降算法计算代价函数画每次迭代代价的变化图测试linearRegression函数测试学习效果(预测)import numpy as npfrom matplotlib import pyplot as pltfrom matplotlib.font_manager import FontPropertiesfon...转载 2019-05-31 16:27:47 · 231 阅读 · 0 评论