图解AI
致力于:机器学习、深度学习、数据分析、算法、架构、C/C++、Rust、HTML5/webApp、Go、Python、Lua...
展开
-
ffmpeg笔记记录
(转载https://www.cnblogs.com/lsqandzy/p/5663482.html) 1.分离视频音频流ffmpeg -i input_file -vcodec copy -an output_file_video //分离视频流ffmpeg -i input_file -acodec copy -vn output_file_audio //分离音频流2.视频解复用ffmpeg –i test.mp4 –v转载 2020-09-09 22:41:55 · 476 阅读 · 0 评论 -
Pandas去除行列标题空格
方法1 .去除列标题1. 去除列标题空格df1 = pd.DataFrame([{'col1 ':'a', 'col2 ':1}, {'col1 ':'b', 'col2 ':2}],index=["aa ","bb "])df1 = df1.rename(columns=lambda x: x.strip())print(df1['col1'])2.去除行标题空格df1 = pd....原创 2020-04-22 11:12:58 · 5149 阅读 · 0 评论 -
[机器学习]基于spark框架的scala语言MAC环境的安装
scala语言介绍Scala 是 Scalable Language 的简写,是一门多范式的编程语言,scala作为spark的开发语言.具体安装步骤:第一步:下载scala官网安装包scala-2.12.1下载地址第二步:解压下载好的安装包直接双击解压第三步:把解压后的文件夹放到/usr/local/share/目录下第四步:修改配置文件 在配置文件的末尾加上一句文件路径 强制保存退出(:wq原创 2017-02-06 17:48:49 · 4833 阅读 · 0 评论 -
[机器学习]漫谈随机森林算法
目录1 什么是随机森林1.1 集成学习1.2 随机决策树1.3 随机森林1.4 投票2 为什么要用它3 使用方法3.1 变量选择3.2 分类3.3 回归4 一个简单的Python示例结语 前言: 随机森林是一个非常灵活的机器学习方法,从市场营销到医疗保险有着众多的应用。它可以用于市场营销对客户获取和存留建模或预测病人的疾病风险和易感性。 随机森林能够用于分类和回归问题,可以处理大量特征转载 2017-02-16 11:47:31 · 6003 阅读 · 2 评论 -
[机器学习]利用KNN算法进行验证码识别
文章:用KNN来进行验证码识别前言对那些及其简单的验证码,可以用KNN算法来破解,这里整理了一个思路,可以了解了解.那么KNN算法原理是什么呢?KNN原理 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类原创 2017-02-17 12:32:09 · 10619 阅读 · 6 评论 -
[机器学习]详解分类算法--决策树算法
前言 算法的有趣之处在于解决问题,否则仅仅立足于理论,便毫无乐趣可言; 不过算法的另一特点就是容易吓唬人,又是公式又是图标啥的,如果一个人数学理论知识过硬,静下心来看,都是可以容易理解的,纸老虎一个,不过这里的算法主要指的应用型算法;但是那些证明和研究算法理论堪称大牛. 现在给大家介绍一下分类算法中最常用的一种算法–决策树算法决策树原理 决策树(decision tree)是一原创 2017-02-18 20:30:54 · 6355 阅读 · 2 评论 -
[详解机器学习]机器学习之认知篇
前言接下来时间给大家系统讲讲,机器学习-深度学习–大数据分析相关知识,为了自己系统学习,同时也分享给大家一起学习! 主要内容 1.机器学习的种类 2.机器学习的任务分类 3.机器学习的方法 4.机器学习模型汇总1.机器学习的种类这里给大家介绍一下机器学习的种类,主要是根据处理的数据种类不同,可以把机器学习分为:1.1 监督学习1)官方解释监督学习就是分类,通过已原创 2017-02-28 13:13:59 · 6309 阅读 · 6 评论 -
[详解机器学习篇]详解回归基础方法之最小二乘法曲线拟合
前言总结下回归算法中用到最多和最常用的方法:最小二乘法最小二乘法官方解释 最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 通过这段描述可以看出来,最小二原创 2017-03-02 12:43:27 · 9385 阅读 · 1 评论 -
[机器学习]机器学习之Python之NumPy数学库的介绍
NumPy-快速处理数据¶标准安装的Python中用列表(list)保存一组值,可以用来当作数组使用,不过由于列表的元素可以是任何对象,因此列表中所保存的是对象的指针。这样为了保存一个简单的[1,2,3],需要有3个指针和三个整数对象。对于数值运算来说这种结构显然比较浪费内存和CPU计算时间。此外Python还提供了一个array模块,array对象和列表不同,它直接保存数值,和C语言的一维数组转载 2017-03-02 17:40:03 · 6072 阅读 · 0 评论 -
[机器学习篇]基于Python机器学习常用库
Python常用的机器学习库Python在科学计算中用途广泛:计算机视觉、人工智能、数学、天文等。它同样适用于机器学习也是意料之中的事。 这篇文章就列举并描述Python的最有用的机器学习工具和库。这个列表中,我们不要求这些库是用Python写的,只要有Python接口就够了。 我们的目的不是列出Python中所有机器学习库(搜索“机器学习”时Python包索引(PyPI)返回了139个结果),原创 2017-03-07 16:53:37 · 9090 阅读 · 6 评论 -
[机器学习篇]机器学习知识总结篇
1、机器学习的数学基础1 - 数学分析 机器学习的一般方法和横向比较 数学是有用的:以SVD为例 机器学习的角度看数学 复习数学分析 直观解释常数e 导数/梯度 随机梯度下降 Taylor展式的落地应用 gini系数 凸函数 Jensen不等式 组合数与信息熵的关系2、机器学习的数学基础2 - 概率论与贝叶斯先验 概率论基础原创 2017-03-08 22:36:48 · 11751 阅读 · 11 评论 -
[机器学习]基于TextBlob简单文本情感分析
该文章介绍如何使用TextBlob创建自己的文本分类系统。 如果已经安装TextBlob,需要更新则需要运行:$ pip install -U textblob nltk如果第一次安装TextBlob,你可能需要下载必要的NLTK语料库。命令:$ curl https://raw.github.com/sloria/TextBlob/master/download_corpora.py | pyt原创 2017-03-14 21:18:23 · 21902 阅读 · 9 评论 -
[机器学习实战]使用 scikit-learn 预测用户流失
客户流失“流失率”是描述客户离开或停止支付产品或服务费率的业务术语。这在许多企业中是一个关键的数字,因为通常情况下,获取新客户的成本比保留现有成本(在某些情况下,贵5到20倍)。因此,了解保持客户参与度是非常宝贵的,因为它是开发保留策略和推出旨在阻止客户走出门的运营实践的合理基础。因此,公司越来越感兴趣开发更好的流失检测技术,导致许多人寻求数据挖掘和机器学习以获得新的和创造性的方法。这是一篇关于使用翻译 2017-03-14 22:19:08 · 14477 阅读 · 15 评论 -
[机器学习]推荐系统之协同过滤算法
在现今的推荐技术和算法中,最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题.1. 什么是推荐算法推荐算法最早在1992年就提出来了,但是火起来实际上是最近这些年的事情,因为互联网的爆发,有了更大的数据量可以供我们使用,推荐算法才有了很大的用武之地。最开始,所以我们在网上找资料,都是进yahoo,然后分门别类的点进去,找到你想要的东西,这是一个人工原创 2017-03-15 22:04:17 · 12919 阅读 · 6 评论 -
[机器学习]基于python的机器学习库Sklearn-01
英文原文:http://scikit-learn.org/stable/modules/linear_model.html#logistic-regression1.1 广义线性模型以下介绍的方法均是用于求解回归问题,其目标值预计是输入值的一个线性组合.用数学语言表示: 假设y是预测值,则有: 在本节中,称向量:为系数. 若要讲通用的线性模型用于分类问题,可以参考Logistic回归1.翻译 2017-03-16 16:49:08 · 4910 阅读 · 2 评论 -
[机器学习库]机器学习库Sklearn详解
原文:http://scikit-learn.org/stable/modules/linear_model.html#logistic-regression章节1. 广义线性模型 2. 线性与二次判别分析 3. 核岭回归 4. 支持向量机 5. 随机梯度下降原创 2017-03-16 17:33:44 · 6206 阅读 · 3 评论 -
[机器学习]机器学习实践笔记01
我是主推Python系的机器学习工具链的。主要的理由是: 1.现在的研究热点大都用Python实现。 2.Python可以编译到C(通过Cython),所以可以很好的保护源码。相对于Java的混淆字节码来说,编译到C之后的Python源码几乎不可能被分析。 3.Python是免费的,虽然用起来比matlab要麻烦。但是有开源社区的支持,包括最近公布的numbapro可以把Python JIT到原创 2017-04-02 10:28:13 · 6856 阅读 · 3 评论 -
[机器学习]二分k-means算法详解
二分k-means算法 二分k-means算法是分层聚类(Hierarchical clustering)的一种,分层聚类是聚类分析中常用的方法。 分层聚类的策略一般有两种:聚合。这是一种自底向上的方法,每一个观察者初始化本身为一类,然后两两结合分裂。这是一种自顶向下的方法,所有观察者初始化为一类,然后递归地分裂它们 二分k-means算法是分裂法的一种。1 二分k-means的步骤翻译 2017-02-05 21:00:05 · 15642 阅读 · 10 评论 -
[机器学习]KNN算法的理解与具体实现
K Nearest Neighbor算法又叫KNN算法,这个算法是机器学习里面一个比较经典的算法, 总体来说KNN算法是相对比较容易理解的算法。其中的K表示最接近自己的K个数据样本。KNN算法和K-Means算法不同的是,K-Means算法用来聚类,用来判断哪些东西是一个比较相近的类型,而KNN算法是用来做归类的,也就是说,有一个样本空间里的样本分成很几个类型,然后,给定一个待分类的数据,通过计算接原创 2017-01-17 00:55:04 · 6013 阅读 · 6 评论 -
[机器学习(转)]转AI方向应该注意什么
普通程序员如何转向AI方向 <div class="postBody"> <div id="cnblogs_post_body"><p class="p"> 眼下,人工智能已经成为越来越火的一个方向。普通程序员,如何转向人工智能方向,是知乎上的一个<a href="https://www.zhihu.com/question/510394原创 2017-01-05 11:07:27 · 7397 阅读 · 3 评论 -
[系统工程]机器学习的通用步骤
我们在进行机器学习过程中一个通用步骤主要有以下几个方面:1)明确问题实现什么目标 需要什么数据 这个问题:如果公司有大量的数据,可以确定最终的目标是什么;如果没有则需要通过目标来确定数据集 2)获取数据自己公司内部的数据(项目上使用),如数据库等 开源数据集,如:UCI、GoogleTrends、Kaggle、AWS公用数据集、Imagenet、MINIST、麻省...原创 2019-04-26 22:39:17 · 2944 阅读 · 2 评论 -
[人工智能][转]机器学习之迭代法
浅说机器学习中“迭代法” 迭代法也称辗转法,是一种不断用变量的旧值递推新值的过程,跟迭代法相对应的是直接法(或者称为一次解法),即一次性解决问题。 迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点,让计算机对一组指令(或一定步骤)进行重复执行,在每次执行这组指令(或这些步骤)时,都从变量的原值推出它的一个新值。利用迭代算法解决问题,需要做好以下三个方面原创 2016-11-24 08:45:40 · 7557 阅读 · 1 评论 -
[机器学习]Python基础知识笔记整理
源码地址笔记源码下载地址机器学习,深度学习,图像处理,NLP技术笔记地址Rust,Go,Python,JavaScript,C/C++实现的leetCode,练习算法,总结算法,应用算法包含了C/C++,Go,Python,Rust,JavaScript数据结构,算法等相关知识总结,以实际项目中遇到的问题编程语言记录,Rust语言,Go语言,Python语言,Lua语言,C/C++…基...原创 2019-03-28 22:22:18 · 5434 阅读 · 1 评论 -
[机器学习案例]回归算法--预测功率与电流之间关系
数据:现在有20W条有关功率和电流的数据,数据中包括:日期、时间、有功功率、无功功率、电压、电流、厨房用电功率、洗衣服用电功率、热水器用电功率。方法:最小二乘法模型:通过这些数据训练一个模型(目标函数也叫损失函数),通过模型来进行预测。最小二乘法的一般形式:目标函数=∑(观测值−理论值)*(观测值−理论值)通过数据来寻找一个最小的目标函数(损失函数)实现# -*- coding: ...原创 2019-03-31 22:43:32 · 5078 阅读 · 2 评论 -
人工智能之机器学习常见算法
摘要之前一直对机器学习很感兴趣,一直没时间去研究,今天刚好是周末,有时间去各大技术论坛看看,刚好看到一篇关于机器学习不错的文章,在这里就分享给大家了. 机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法,以供您在工作和学习中参考。 机器学习的算法很多。很多时候困惑人们都是,很多算法是一类算法,而有原创 2016-05-22 15:47:54 · 86449 阅读 · 4 评论 -
[机器学习]主流深度学习框架和通用机器学习框架对比
目录深度学习框架 1.Theano & Ecosystem 2.Torch 3. Tensorflow 4. Caffe 5. CNTK 6.DSSTNE 7.Speed机器学习框架 1.sci-kit learn 2.Apache Mahout 3.SystemML 4.Microsoft原创 2017-01-17 09:28:40 · 15051 阅读 · 1 评论 -
[机器学习]机器学习的框架偏向于Python原因
前言主要有以下原因:1. Python是解释语言,这让写程序方便不只一点。 举例来说,在C等编译语言里写一个矩阵乘法,需要自己分配操作数(矩阵)的内存、分配结果的内存、手动对BLAS接口调用gemm、最后如果没用smart pointer还得手动回收内存空间。Python几乎就是import numpy; numpy.dot两句话的事。 当然现在很多面向C/C++库已经支持托管的内存管原创 2017-01-11 22:07:27 · 21744 阅读 · 11 评论 -
[人工智能]基于Spark机器学习之决策树实现
决策树1 决策树理论1.1 什么是决策树 所谓决策树,顾名思义,是一种树,一种依托于策略抉择而建立起来的树。机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。 树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,从根节点到叶节点所经历的路径对应一个判定测试序列。决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同输出。1.2 决策树学习流翻译 2017-01-19 10:51:08 · 6993 阅读 · 0 评论 -
[机器学习]如何用机器学习来判定红楼梦后40回是否曹雪芹所写
前言今天在涉机器学习相关知识时,看到黎晨这篇文章,觉得蛮有意思的,拿来这里介绍大家.这里判定的维度越多越精准,下面判定仅供参考,仅供娱乐学习!判定整体思路主要从以下几个方面可以进行粗略进行判定:1.写作习惯 每个人写作都有一些与种不同的小习惯,这些小习惯并不会轻易就会发生改变;万分之一的例外情况不考虑!2.词频统计 就像每次领导人开会一样,媒体或政客们都会去统计领导人讲话中出现的高频词汇,原创 2017-01-19 15:30:40 · 8981 阅读 · 23 评论 -
[ 人工智能]模式识别、机器学习、数据挖掘当中的各种距离总结
模式识别、机器学习、数据挖掘当中的各种距离总结在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。本文目录:1.欧氏距离2.曼哈顿距离3.切比雪夫距离4.闵可夫斯基距离5.标准化欧氏距离6.马氏距离7.夹角余弦转载 2017-03-31 10:10:51 · 5788 阅读 · 5 评论 -
机器学习-学习1号小分队资料总结01
机器学习-学习1号小分队机器学习须知欢迎加入机器学习小分队,请各位队员修改下自己的昵称-机器学习的具体方向-从业年限,方便各位进行交流,方便勾搭,每天都有资料更新。想入群的可以联系我,加我微信,拉你入群收集大家的建议: 机器学习小分队,精品分享&话题征集本群人数快满500了,欢迎大家交流学习技术。先给大家简单说明一下群规 1. 不许骂人,互相伤害; 2. 不许乱贴广告、推广; 3. 不要在班原创 2017-04-13 10:36:23 · 6550 阅读 · 3 评论 -
[机器学习案例]基于KNN手写数字识别
算法介绍之前已经介绍过,简单来说,K-NN可以看成:有那么一堆你已经知道分类的数据,然后当一个新数据进入的时候,就开始跟训练数据里的每个点求距离,然后挑离这个训练数据最近的K个点看看这几个点属于什么类型,然后用少数服从多数的原则,给新数据归类。算法步骤:算法步骤: 1. step.1—初始化距离为最大值 2. step.2—计算未知样本和每个训练样本的距离dist 3. step.3—得原创 2017-05-23 20:30:55 · 7979 阅读 · 13 评论 -
[机器学习]基于 JavaScript 的机器学习实例
随着人工智能技术的发展,机器学习越来越受到开发者们的关注,从而也导致了机器学习库如雨后春笋般的涌现出来,而且没有任何放缓的趋势。虽然,传统意义上 Python 已经成为了最受欢迎的机器学习语言。但目前神经网络可在任何编程语言中运行,当然也包括 JavaScript!虽然,大多数 JavaScript 机器学习库都是“新轮子”,有的甚至还在研发中,但并不会影响你的使用。在这篇文章中,我们将与你分享这些转载 2017-07-12 23:50:39 · 8777 阅读 · 2 评论 -
[机器学习]机器学习笔记整理14-多元回归分析及实现
1.多元回归分析 与简单的线性回归的区别是,多元回归特点:一个因变量,多个自变量(x)2.多元回归模型 y= y=β0+β1x1+β2x2+ … +βpxp+ε 其中: β0,β1,β2… β p是参数 ε是误差值3. 多元回归方程 E(y)=β0+β1x1+β2x2+ ... +βpxp4. 估计多元回归方程: y_hat=b原创 2017-04-14 15:22:18 · 6189 阅读 · 1 评论 -
[机器学习]Scikit-Learn模块学习笔记——数据集模块datasets
原文:http://www.cnblogs.com/zhuyuanhao/p/5383628.html“>Scikit-Learn模块学习笔记——数据集模块datasets </div><!--end: blogStats --></div><!--end: navigator 博客导航栏 -->转载 2017-04-04 11:42:17 · 7930 阅读 · 2 评论 -
[机器学习]机器学习笔记整理07- KNN算法
算法描述步骤为了判断未知实例的类别,以所有已知类别的实例作为参照选择参数K计算未知实例与所有已知实例的距离选择最近K个已知实例根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别细节关于K关于距离的衡量方法:Euclidean Distance 定义 其他距离衡量:余弦值(cos), 相关度 (correlation), 曼哈顿距原创 2017-04-03 18:12:11 · 5624 阅读 · 2 评论 -
[机器学习]机器学习笔记整理06-决策树应用
数据集训练集RID,age,income,student,credit_rating,class_buys_computer1,youth,high,no,fair,no2,youth,high,no,excellent,no3,middle_aged,high,no,fair,yes4,senior,medium,no,fair,yes5,senior,low,yes,fair,yes原创 2017-04-03 18:06:02 · 5650 阅读 · 2 评论 -
[机器学习]机器学习笔记整理05-决策树
机器学习中分类和预测算法的评估:准确率 速度 强壮行 可规模性 可解释性什么是决策树/判定树(decision tree)?判定树是一个类似于流程图的树结构:其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布。树的最顶层是根结点。 3.1 决策树归纳算法 (ID3) 1970-1980, J.Ross. Quinlan, ID3算法原创 2017-04-03 17:58:18 · 6165 阅读 · 2 评论 -
[机器学习]机器学习笔记整理全解
[机器学习]机器学习笔记整理08- SVM算法原理及实现 [机器学习]机器学习笔记整理07- KNN算法 [机器学习]机器学习笔记整理06-决策树应用 [机器学习]机器学习笔记整理05-决策树 [机器学习]机器学习笔记整理04-基本术语理解 [机器学习]机器学习笔记整理03-深度学习 [机器学习]机器学习笔记整理02-机器学习 [机器学习]机器学习实践笔记01 [机器学习]Sci原创 2017-04-06 23:35:35 · 13927 阅读 · 3 评论 -
[机器学习]机器学习笔记整理12-线性回归概念理解
前提介绍:为什么需要统计量?统计量:描述数据特征1. 集中趋势衡量均值(平均数,平均值)(mean) {6, 2, 9, 1, 2} (6 + 2 + 9 + 1 + 2) / 5 = 20 / 5 = 4中位数 (median):将数据中的各个数值按照大小顺序排列,居于中间位置的变量 给数据排序:1, 2, 2, 6, 9 找出位置处于中间的变量:2 当n为基数的时候:直原创 2017-04-11 00:11:45 · 7502 阅读 · 2 评论