- 博客(47)
- 资源 (7)
- 收藏
- 关注
转载 python 多线程
1、多线程的理解多进程和多线程都可以执行多个任务,线程是进程的一部分。线程的特点是线程之间可以共享内存和变量,资源消耗少(不过在Unix环境中,多进程和多线程资源调度消耗差距不明显,Unix调度较快),缺点是线程之间的同步和加锁比较麻烦。2、Python多线程创建在Python中,同样可以实现多线程,有两个标准模块thread和threading,不过我们主要使用更高级的threading模块。使...
2018-04-21 10:22:34
336
转载 plotly使用基本介绍
plotly是开挂的作图神器,可以供js, python, R, DB等使用。具体见官网plotly官网1. 安装pip install plotly1更新pip install plotly --upgrade12. 在线使用,画的图会存入云账户中import plotly#设置用户名和API-Keyplotly.tools.set_credentials_file
2018-02-02 14:11:41
31143
1
转载 凸优化-2
1.动机和目的 人在面临选择的时候重视希望自己能够做出“最好”的选择,如果把它抽象成一个数学问题,那么“最好的选择”就是这个问题的最优解。优化问题,就是把你考虑的各个因素表示成为一组函数(代价函数),解决这个问题就是在一集备选解中选择最好的解。 那么,为什么我们要讨论凸优化而不是一般的优化问题呢?那时因为凸优化问题具有很好的性质——局部最优就是全局最优,这一特性让我们能
2018-01-22 15:38:49
512
转载 数学优化入门:凸优化
1、前言凸优化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。虽然条件苛刻,但应用广泛,具有重要价值,主要体现在:凸优化本身具有很好的性质 一来,凸问题的局部最优解就是全局最优解。二来,凸优化理论中的Lagrange对偶,为凸优化算法的最优性与有效性提供了保证。近些年来关于凸问题的研究非常透彻,以至于只要把某一问题抽象为凸问题,就可以近似认为这个问题已经解决了
2018-01-22 15:37:00
1481
原创 过拟合(原因、解决方案、原理)
版权声明:如需转载,请注明出处http://blog.csdn.net/a8198252941.定义标准定义:给定一个假设空间H,一个假设h属于H,如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小,但在整个实例分布上h’比h的错误率小,那么就说假设h过度拟合训练数据。 —-《Machine Learning》Tom M.Mitchell2.出现过拟合的一些原因(
2018-01-22 15:26:44
1390
转载 梯度下降法介绍及python实现
梯度下降(Gradient Descent)算法是机器学习中使用非常广泛的优化算法。当前流行的机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。本文主要以线性回归算法损失函数求极小值来说明如何使用梯度下降算法并给出python实现。若有不正确的地方,希望读者能指出。 梯度下降梯度下降原理:将函数比作一座山,我们站在某个山坡上,往四周看,从哪个方向向下走一小步,能够下降的最快。在线性回归算
2018-01-19 10:57:00
811
转载 机器学习中的相似性度量
在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。本文目录:1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5.标准化欧氏距离6
2018-01-16 10:52:32
234
转载 python中常用的九种预处理方法分享
这篇文章给大家分享了python中常用的九种预处理方法,对大家学习或使用python具有一定的参考价值,有需要的朋友们可以一起来看看本文总结的是我们大家在python中常见的数据预处理方法,以下通过sklearn的preprocessing模块来介绍;1. 标准化(Standardization or Mean Removal and Variance Scaling)变换后各
2018-01-09 09:39:11
544
转载 利用 Python 练习数据挖掘
第一节介绍数据挖掘是一个隐式提取以前未知的潜在有用的数据信息提取方式。它使用广泛,并且是众多应用的技术基础。本文介绍那些使用Python数据挖掘实践用于发现和描述结构模式数据的工具。近些年来,Python在开发以数据为中心的应用中被用的越来越多。感谢大型科学计算社区的支持以及大大丰富的数据分析函数库。尤其是,我们可以看到如何:• 导入和可视化数据• 数据分类• 使用回归分析
2017-12-29 16:03:10
1873
转载 Python & 机器学习之项目实践
机器学习是一项经验技能,经验越多越好。在项目建立的过程中,实践是掌握机器学习的最佳手段。在实践过程中,通过实际操作加深对分类和回归问题的每一个步骤的理解,达到学习机器学习的目的。预测模型项目模板不能只通过阅读来掌握机器学习的技能,需要进行大量的练习。本文将介绍一个通用的机器学习的项目模板,创建这个模板总共有六个步骤。通过本文将学到:端到端地预测(
2017-12-26 15:31:00
3358
1
转载 参数检验与非参数检验
一、参数检验1、基本思想2、两类错误3.、检验步骤4、检验的p值在一个假设检验问题中, 拒绝原假设H0的最小显著性水平称为检验的p值.5、单正态总体参数的检验(1)(2)(3)6、两正态总体参数的检验(1)(2)7、成对数据的t检验所谓成对数据, 是指两个
2017-12-26 11:09:15
972
转载 参数估计、假设检验与回归
参数估计、假设检验统计总体架构拟合(fitting) 概念已知某函数的若干离散函数值{f1,f2,…,fn},通过调整该函数中若干待定系数f(λ1, λ2,…,λn),使得该函数与已知点集的差别(最小二乘意义)最小。如果待定函数是线性,就叫线性拟合或者线性回归,否则叫作非线性拟合或非线性回归。 参数估计
2017-12-25 14:40:58
10447
转载 数据挖掘之特征选择
特征选择(排序)对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能,更能帮助我们理解数据的特点、底层结构,这对进一步改善模型、算法都有着重要作用。特征选择主要有两个功能:减少特征数量、降维,使模型泛化能力更强,减少过拟合增强对特征和特征值之间的理解拿到数据集,一个特征选择方法,往往很难同时完成这两个目的。通常情况下,我们经常不管三七二十一,选择一种自
2017-12-22 14:27:55
1519
1
转载 特征选择的策略--数据相关性(皮尔逊系数)与gini或者信息熵的的结合
首先特征选择在实际的数据挖掘项目中非常重要,从海量维度的特征中选取出表征明显的特征显得非常的重要。特征选择主要可以从数据相关性角度和信息增益的角度来考虑。数据相关性判断:皮尔逊系数当相关系数为0时,X和Y两变量无关系。 当X的值增大,Y也增大,正相关关系,相关系数在0.00与1.00之间 当X的值减小,Y也减小,正相关关系,相关系
2017-12-22 11:27:20
4216
转载 信息熵 条件熵 信息增益 信息增益比 GINI系数
在信息论与概率统计学中,熵(entropy)是一个很重要的概念。在机器学习与特征工程中,熵的概念也用得灰常多。今天就把跟熵有关的东东稍微整理一下,权当笔记。1.信息熵熵是神马东东?信息论的开山祖师爷Shannon(中文翻译过来一般叫香农,总觉得很多文字经过翻译就不对劲,就跟人家老外翻译贱人就是矫情一样,感觉怪怪的。所以咱们还是用英文了,偷偷装个小逼)明确告诉我们,信息的不确定性可以用熵来表
2017-12-22 11:24:37
717
转载 决策树--信息增益,信息增益比,Geni指数的理解
决策树 是表示基于特征对实例进行分类的树形结构 从给定的训练数据集中,依据特征选择的准则,递归的选择最优划分特征,并根据此特征将训练数据进行分割,使得各子数据集有一个最好的分类的过程。 决策树算法3要素:特征选择决策树生成决策树剪枝 部分理解: 关于决策树生成决策树的生成过程就是 使用满足划分准则的特征不断的将数据集划分为纯度更高,
2017-12-22 11:23:58
1802
转载 信息增益相关介绍(熵、信息增益、特征)
对于取值多的属性,尤其一些连续型数值,比如两条地理数据的距离属性,这个单独的属性就可以划分所有的样本,使得所有分支下的样本集合都是“纯的”(最极端的情况是每个叶子节点只有一个样本)。一个属性的信息增益越大,表明属性对样本的熵减少的能力更强,这个属性使得数据由不确定性变成确定性的能力越强。所以如果是取值更多的属性,更容易使得数据更“纯”(尤其是连续型数值),其信息增益更大,决策树会首先挑选这
2017-12-22 10:58:28
3601
转载 卡方检验用于特征提取
前文提到过,除了分类算法以外,为分类文本作处理的特征提取算法也对最终效果有巨大影响,而特征提取算法又分为特征选择和特征抽取两大类,其中特征选择算法有互信息,文档频率,信息增益,开方检验等等十数种,这次先介绍特征选择算法中效果比较好的开方检验方法。 大家应该还记得,开方检验其实是数理统计中一种常用的检验两个变量独立性的方法。(什么?你是文史类专业的学生,没有学过数理统计?那你做什么文本分类
2017-12-22 10:18:05
783
转载 Linux 下升级python和安装pip
Linux版本升级:1、 首先确认Linux操作系统中自带的python 版本时候与自己所需要的版本一致所有的python版本都在https://www.python.org/ftp/python/ 选择下载2、 wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz 进行下载3、 解压
2017-12-22 09:18:06
563
转载 python pandas (ix & iloc &loc) 的区别
loc——通过行标签索引行数据 iloc——通过行号索引行数据 ix——通过行标签或者行号索引行数据(基于loc和iloc 的混合) 同理,索引列数据也是如此!举例说明: 1、分别使用loc、iloc、ix 索引第一行的数据: (1)locimport pandas as pddata=[[1,2,3],[4,5,6]]index=['a','b']#行号colu
2017-12-20 11:05:47
661
转载 使用Python一步一步地来进行数据分析
你已经决定来学习Python,但是你之前没有编程经验。因此,你常常对从哪儿着手而感到困惑,这么多Python的知识需要去学习。以下这些是那些开始使用Python数据分析的初学者的普遍遇到的问题:需要多久来学习Python?我需要学习Python到什么程度才能来进行数据分析呢?学习Python最好的书或者课程有哪些呢?为了处理数据集,我应该成为一个
2017-12-08 14:04:18
546
转载 Matplolib教程及查询
Matplotlib这是一个分为四部分的Matplolib教程。1st 部分:第一部分介绍了Matplotlib基本功能,基本figure类型。Simple Plotting exampleIn [113]:%matplotlib inline import matplotlib.pyplot as plt #i
2017-12-08 13:58:17
793
转载 Python数据分析与实战挖掘
《Python数据分析与实战挖掘》 张良均基础篇书推荐:《用python做科学计算》扩展库 简介Numpy数组支持,以及相应的高效处理函数Scipy矩阵支持,以及相应的矩阵数值计算模块Matplotlib强大的数据可视化工具、作图库Pandas强大、灵活的数据分析和探索工具StatsModels 统计建模和计量经济学,包括描述统计
2017-12-08 09:13:32
1802
1
转载 sklearn库中的机器学习函数
函数名称均为sklearn库中的函数1.线性回归算法:LinearRegression: 其中常用的有:Ridge:岭回归算法,MultiTaskLasso:多任务LASSO回归算法,ElasticNet:弹性网眼算法,LassoLars:LARS套索算法,OrthogonalMatchingPursuit:正交匹配追踪(OMP)算法, BayesianRidge:贝叶斯岭回归算法
2017-12-07 16:16:06
2222
1
转载 HTTP协议
HTTP协议请求头都是以字符串的方式发送和解析的客户端发送请求(request):GET / HTTP/1.1 # 格式:请求方式|路径|HTTP版本Host: www.baidu.comConnection: keep-aliveCache-Control: max-age=0 # 缓存的最大周期Upgrade-Insecure-Requests: 1User-Agent:
2017-12-07 16:05:12
394
转载 Python----字符串操作与列表使用
字符串操作在python有各种各样的string操作函数。在历史上string类在python中经历了一段轮回的历史。在最开始的时候,python有一个专门的string的module,要使用string的方法要先import,但后来由于众多的python使用者的建议,从python2.0开始, string方法改为用S.method()的形式调用,只要S是一个字符串对象就可以这样使用
2017-12-07 15:55:21
392
转载 linux系统基本命令整理篇
太久没有用过linux了,收集一些常用命令,以备不时之需。。。系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev
2017-12-07 15:53:04
161
转载 采用python中SQLalchemy模块访问数据库
采用python中SQLalchemy模块访问数据库 1. SQLalchemy简介SQLAlchemy是一个开源的SQL工具包,基本Python编程语言的MIT许可证而发布的对象关系映射器。SQLAlchemy提供了“一个熟知的企业级全套持久性模式,专为高效率和高性能的数据库访问而设计“。SQLAlchemy的首次发布2006年2月,并已迅速成为最广泛使用的对象关系映射在Python
2017-12-07 15:47:26
276
转载 用Python实现机器学习算法
用Python实现出来的机器学习算法都是什么样子呢?营长刚好在 GitHub 上发现了东南大学研究生“Lawlite”的一个项目——机器学习算法的Python实现,下面从线性回归到反向传播算法、从SVM到K-means聚类算法,咱们一一来分析其中的Python代码。目录一、线性回归1、代价函数2、梯度下降算法3、均值归一化
2017-12-07 13:40:11
2048
转载 Python绘图介绍
现如今大数据已人尽皆知,但在这个信息大爆炸的时代里,空有海量数据是无实际使用价值,更不要说帮助管理者进行业务决策。那么数据有什么价值呢?用什么样的手段才能把数据的价值直观而清晰的表达出来?答案是要提供像人眼一样的直觉的、交互的和反应灵敏的可视化环境。数据可视化将技术与艺术完美结合,借助图形化的手段,清晰有效地传达与沟通信息,直观、形象地显示海量的数据和信息,并进行交互处理。数据可视
2017-12-07 13:33:48
7823
2
转载 深度学习中的Attention模型介绍及其进展
近期对深度学习中的Attention模型进行了深入研究,该模型在图像识别、语音识别和自然语言处理三大深度学习的热门领域均有广泛的使用,是2014和2015年深度学习领域的重要进展。现对其原理、主要应用及研究进展进行详细介绍。1. 基本原理 Attention模型最初应用于图像识别,模仿人看图像时,目光的焦点在不同的物体上移动。当神经网络对图像或语言进行识别时,每次集中于部分特征上
2017-12-06 11:09:01
1961
转载 机器学习总结
本文转自http://www.cnblogs.com/tornadomeet/p/3395593.html前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技
2017-12-06 09:49:20
710
转载 深度学习十大框架比较
框架比较(转):1 TensorFlow 对于那些听说过深度学习但还没有太过专门深入的人来说,TensorFlow 是他们最喜欢的深度学习框架,但在这里我要澄清一些事实。 在 TensorFlow 的官网上,它被定义为「一个用于机器智能的开源软件库」,但我觉得应该这么定义:TensorFlow 是一个使用数据流图(data flow graphs)进行数值计算的开源软件库。在这里
2017-12-05 11:12:08
648
转载 Caffe fine-tuning 微调网络
转载:http://www.cnblogs.com/louyihang-loves-baiyan/目前呢,caffe,theano,torch是当下比较流行的Deep Learning的深度学习框架,楼主最近也在做一些与此相关的事情。在这里,我主要介绍一下如何在Caffe上微调网络,适应我们自己特定的新任务。一般来说我们自己需要做的方向,比如在一些特定的领域的识别分类中,我们很难拿到大
2017-12-04 15:05:11
195
转载 行人再识别(行人重识别)[包含与行人检测的对比](作者:liuqinglong110)
转载:http://blog.csdn.net/liuqinglong110/article/details/41699861最近,在网上搜索关于“行人重识别”及“行人再识别”等关键词,发现几乎都是关于行人检测的内容。对于“行人重(再)识别”技术能找到的资料很少,这可能是因为“行人重(再)识别”技术最近才刚刚兴起吧。总之,除了能在谷歌学术中搜到一些Person re-identific
2017-09-22 14:54:03
3455
转载 hadoop、storm和spark的区别、比较
转载:http://blog.csdn.net/poisions/article/details/51120172一、hadoop、Storm该选哪一个?为了区别hadoop和Storm,该部分将回答如下问题:1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景,什么情况下使用hadoop4.什么是吞吐量
2017-09-18 21:41:41
482
转载 统计相关系数(2)——Spearman Rank(斯皮尔曼等级)相关系数及MATLAB实现
转载:http://blog.csdn.net/wsywl/article/details/5859751Spearman Rank(斯皮尔曼等级)相关系数 1、简介在统计学中,斯皮尔曼等级相关系数以Charles Spearman命名,并经常用希腊字母ρ(rho)表示其值。斯皮尔曼等级相关系数用来估计两个变量X、Y之间的相关性,其中变量间的相关性可以使用单调函数来描述。如
2017-09-13 19:49:07
5032
转载 数据分析的统计方法选择小结(变量之间的关联性分析)
数据分析的统计方法选择小结(变量之间的关联性分析)一、两个变量之间的关联性分析1.两个变量均为连续型变量1)小样本并且两个变量服从双正态分布,则用Pearson相关系数做统计分析2)大样本或两个变量不服从双正态分布,则用Spearman相关系数进行统计分析 2.两个变量均为有序分类变量,可以用Spearman相关系数进行统计分析 3.一个变量为有序分
2017-09-13 17:16:28
11425
原创 Hadoop入门
学习Hadoop,从本教程开始。http://hadoop.apache.org/docs/r1.0.4/cn/index.html
2017-09-11 22:09:01
210
转载 Python日期时间函数
所有日期、时间的api都在datetime模块内。1. 日期输出格式化 datetime => stringimport datetimeow = datetime.datetime.now()ow.strftime('%Y-%m-%d %H:%M:%S')输出'2015-04-07 19:11:21'trftime是datetime类的实例
2017-09-06 13:04:40
261
视频图像运动目标分析
2017-11-22
caffe网络模型各层解析
2017-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人