修炼之路
文章平均质量分 64
AI专家
待完善。
展开
-
深度学习知识三
神经网络并不是一种具体的算法思路,而是一种模型构筑的思路或者方式。在这个思路或者方式的指引下,我们已经成功地构筑了BP网络。 这种线性分类器后面直接跟随激励函数形式神经元,然后前后首尾相接形式网络的方式应该说并不难理解。 如果神经元之间的连接有一种特点,那就是每一个神经元节点的输入都来自于上一层的每一个神经元的输出。这种方式就叫做全连接网络,整个网络的每一层都是以这种“全连接...原创 2018-10-08 20:52:41 · 305 阅读 · 0 评论 -
人工智能之路学习计划
上周六,我去了光环国际培训中心,倾听了老师的授课,尤其关于人工智能的定位和发展,我非常认可。 实际上,老师的一些要求,我已经达到了,比如:高等数学、概率论、线性代数、矩阵论以及Hadoop、spark等已经系统地学习了,收获非常大。 下面,我把接下来的月计划进行规划,主要有以下几个步骤: (1)深度学习,一周内将网上的搜狐视频资料学习完,结合...原创 2018-09-04 12:10:18 · 2725 阅读 · 0 评论 -
人工智能之路(二)
经过4个月的辛勤付出,终于系统地完成了机器学习、Hadoop安装与使用、spark的学习与使用,大数据领域学习课程愉快地完成了,python的水平我感觉有了大幅度的提升,我相信,拿到项目以后,一定会发挥自己的主动性和创造性,一定能按质按量完成! 人工智能算法工程师是人工智能的分支,我喜欢数学,我的数学底子非常厚,在大学数学一直是班里第一名,在研究生考试中,数一考了85分,应该...原创 2018-09-04 12:02:58 · 1353 阅读 · 1 评论 -
pandas用法总结
一、生成数据表 1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用:import numpy as npimport pandas as pd122、导入CSV或者xlsx文件:df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel('name.xlsx'))1...转载 2018-06-20 13:21:01 · 452 阅读 · 0 评论 -
Scikit-Learn的基本使用
Scikit-Learn是用Python开发的机器学习库,其中包含大量机器学习算法、数据集,是数据挖掘方便的工具。Scikit-Learn的安装可使用pip工具,在安装前需要安装NumPy和SciPy,打开一个命令行中端并输入:$pip install -U scikit-learn基本操作:1.数据加载:对于csv文件,pandas库提供的pandas.read_csv能够快速的加载并根据提供的...转载 2018-06-20 13:18:20 · 704 阅读 · 0 评论 -
机器学习之经典算法之(二十六) 最大似然估计
(一)、最大似然估计简介: 最大似然法(MaximumLikelihood,ML)也称为最大概似估计,也叫极大似然估计,是一种具有理论性的点估计法,此方法的基本思想是:当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。最大似然估计是一种统计方法,它用来求一个...原创 2018-06-26 22:35:00 · 2261 阅读 · 0 评论 -
机器学习经典算法之(十九)多项式回归
(一)多项式回归简介:在上一篇的一般线性回归中,使用的假设函数是一次方程,假设数据集呈简单线性关系,但实际上,很多不是非线性的,直线方程无法很好的拟合数据的情况,这个时候可以尝试使用多项式回归方式。多项式回归中,加入了特征的更高次方,也相当于增加了模型的自由度,用来捕获数据中非线性的变化。添加高阶项的时候,也增加了模型的复杂度。随着模型复杂度的升高,模型的容量以及拟合数据的能力增加,可以进一步降低...原创 2018-06-19 23:20:44 · 3366 阅读 · 0 评论 -
安装HADOOP集群服务器
1. 规划功能 HOSTNAME IP 说明 Master HDM01 192.168.1.1 Namenode 兼datanode Slave HDS02 192.168.1.2 Datanode Slave HDS03 192.168.1.3 Datanode Client HDC04 192.168.1.4 HADOOP客户端(HDFS/HI...转载 2018-07-01 16:16:05 · 1613 阅读 · 0 评论 -
mysql在linux下的安装
*** 若想使用yum安装,请参考:Centos7使用yum命令安装Mysql ***linux版本:CentOS7 64位 1、下载安装包“mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz” # 安装依赖yum -y install perl perl-devel autoconf libaio 2、把下载的安装包移动到/usr/local/...转载 2018-07-01 16:14:11 · 171 阅读 · 0 评论 -
Linux常用命令大全(非常全!!!)
最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一下,仅供大家参考: 系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 ...原创 2018-07-01 16:12:42 · 237 阅读 · 0 评论 -
linux---linux根目录下各个目录的用途及含义
以下图片只包含子目录下的一部分。1./bin - 重要的二进制 (binary) 应用程序包含二进制文件,系统的所有用户使用的命令都在这个目录下。 2./boot - 启动 (boot) 配置文件包含引导加载程序相关的文件3./dev - 设备 (device) 文件包含设备文件,包括终端设备,USB或连接到系统的任何设备。4./etc - 配置文件、启动脚本等 (...转载 2018-07-01 16:10:18 · 537 阅读 · 0 评论 -
《数据挖掘-实用机器学习技术》读书笔记
1规则:1R。建立一个只对单个属性进行测试的规则,并进行不同的分支。每一个分支对应一个不同的属性值。分支的类就是训练数据在这个分支上出现最多的类。这种方法能够容易地计算出规则的误差率。只要计算在训练数据上产生的错误,即,统计不属于多数类的实例数量。每个属性都能产生一个不同的规则集,每条规则对应这个属性的每个值。对每一个属性的规则集的误差率进行评估,从中选出性能最好的一个。一个属性对应一个规则集。给...原创 2018-06-19 19:39:06 · 2016 阅读 · 0 评论 -
《数据挖掘技术》读书笔记
离群点检测技术离群点检测又称为异常检测是找出其行为很不同于预期对象的过程。离群点检测和聚类分析是两项高度相关的任务。聚类发现数据集中的多数模式并据此组织数据。而离群点检测则试图捕获那些显著偏离多数模式的异常情况。什么是离群点。假定使用一个给定的统计过程来产生数据对象集。离群点是一个数据对象,它显著不同于其他数据对象。噪声是被观测变量的随机误差或方差。在离群点检测之前删除噪声的。新颖性检测:通过...原创 2018-06-19 19:37:18 · 1409 阅读 · 0 评论 -
读《机器学习》笔记(二)
决策树的划分以后,就是剪枝处理了。如何进行剪枝呢。主动去掉一些分支来降低过拟合的风险。决策树剪枝的基本策略是:预剪枝和后剪枝,预剪枝是指在决策树生成过程中,对每个节点在划分前后进行估计,若当前节点的划分不能带来决策树泛化性能提升,则停止划分,并将当前结点标记为叶节点。后剪枝则是先在训练集生成一棵完整的决策树,然后自底向上地对非叶子节点进行考察,若将该结点对应的子树替换为叶节点能带来决策树泛化性...原创 2018-06-19 19:35:33 · 1243 阅读 · 0 评论 -
AI基础(一)
(1)人工智能学习应用发展历程,深度学习是人工智能的核心算法,实现途径。(2)函数极限部分内容:关于e和1的两个重要极限。(3)函数单调有界,那么极限非常好求解。x->x0 x->x0+ x->x0- (4)函数的导数: (5)导数的应用:通过函数的导数的值,可以判断出函数的单调性、驻点以及极值点。若导数大于0,则单调递增;若导数...原创 2018-09-04 14:28:03 · 206 阅读 · 0 评论 -
学习之路(四) -----参加T11数据智能峰会有感
今天,我参加了T11 数据智能峰会,由TalkingData主办,收获很多,今天先谈谈车品觉老师做的报告。 车品觉老师到现场做了报告,首先结合自己的工作实际,叙述了大数据的发展的几个重要历程:软件时代、数据时代和数据智能时代。同时通过大量实例系统地阐述了对大数据的认识,阐述了数据共享面临的实际问题,业务数据化是未来的发展趋势,具体体现在数据资源化、数据资产化,数据资源支撑了决策...原创 2018-09-11 22:04:41 · 189 阅读 · 0 评论 -
深度学习常用的20个Python库
(1)核心库与统计:Numpy、Scipy、Pandas、StatsModels。(2)可视化:Matplotlib、Seaborn、Plotly、Bokeh、Pydot、Scikit-learn、XGBoost/LightGBM/CatBoost、Eli5。(3)深度学习:Tensorflow、PyTorch、Keras。(4)分布式深度学习:Dist-keras/elephas/s...原创 2018-10-05 15:45:14 · 11296 阅读 · 0 评论 -
Tensorflow框架特性与安装
Tensorflow是一个采用数据流图,用于数值计算的开源软件库。节点时在图中表示数学操作,途中的线则表示在节点间相互联系的多维数据数组,即张量。它灵活的架构让你可以在多种平台上开展计算,台式计算机、CPU、服务器、移动设备等。一旦输入端的所有张量准备好,节点将被分配到各种计算设备完成异步并行计算。 常见的框架对比: (1)caffe:卷积神经网络框架,专注于卷...原创 2018-10-01 16:17:21 · 411 阅读 · 0 评论 -
人工智能修炼之路(九)--人工智能在银行业中的应用探索
人工智能产业生态:应用层(服务机器人、智能家居、金融、安防、智能驾驶)、技术层(自然语言处理、计算机视觉、语音处理、图谱/os/平台)和基础层(AI芯片、传感器)。 人工智能市场规模增速、“AI+金融”机遇与挑战并存(金融行业信息业建设起步较早,极其重视IT标准化规范化;金融业务有了大量数据积累,数据处理上急需自动化、智能化解放人力;金融普惠化、场景化需要人工智能驱动。...原创 2018-09-14 11:43:29 · 9010 阅读 · 0 评论 -
人工智能修炼之路(八)--人工智能、大数据、新金融
(1)人工智能 人工智能的发展从开始到现在,经历了三个阶段,第一个阶段我们叫做计算智能,这个阶段要解决的事情,叫做能存会算。第二个阶段是感知智能,这个阶段是能听会说,能看会认。第三个阶段往下发展应该叫认知智能,要达到什么样的程度呢?要能够理解、会思考,我觉得这个是最高级的境界,目前我们正在往这个方向努力。 实际上,我们对整个世界的看法...原创 2018-09-14 10:40:23 · 627 阅读 · 0 评论 -
人工智能修炼之路(六)--参加赋能未来移动智能营销峰会
今天,参加了《广告主》主办的赋能未来,移动智能营销峰会。新意动李帅主持整个峰会,传媒大学商学院院长发表致辞,主要从媒体发展历程、新技术对营销产生的影响以及大家对移动智能营销的根本认识。 凌致时装常飞以 数据资产,数据价值为主题作了一场精彩的演讲。 首先简单介绍了绫致发展历程,伴随着从数据到数据资产的发展思路的变化,数据散落分布,缺少360客户立体画像,与...原创 2018-09-14 09:10:28 · 404 阅读 · 0 评论 -
人工智能修炼之路(十二)--人工智能科技创新大会
昨天下午参加了这个分会,五位嘉宾作了演讲,大家从不同的角度,结合自己的工作,对AI的科技创新展开了讨论,北京航空航天大学段教授研究了动物学群聚特性,利用这个特性,开展无人机群研究,非常生动,话题很深入,将深奥的道理通过浅显的语言表达出来,非常有意义的研究课题。intel中国芯片负责人从intel如何利用AI来提升intel的服务品质、服务领域,列举和奥运会、智慧城市、智慧医疗等的应用场景...原创 2018-09-19 08:56:17 · 389 阅读 · 0 评论 -
人工智能修炼之路(十一)--金融科技问题
当前金融科技存在四个新的特征。 一是供给主体的多样性。随着社会发展和社会进步,金融业的分工日趋市场化、专业化、精细化。金融产业链和生态圈不断拓展,在金融科技领域,供给的主体既包括通过科技创新推动金融服务转型升级的传统金融机构,也包括运用数字技术、跨界开展金融业务的互联网企业,还包括为金融机构提供技术外包和配套服务的金融科技公司。这些机构在账户、渠道、数据和基础设施等方面的关联性和交互性...原创 2018-09-19 08:39:04 · 433 阅读 · 0 评论 -
人工智能修炼之路(六)--研讨会有感
民生信用卡大数据平台驱动战略:标准化、平台云化、智能化、移动化。信用卡与大数据:数据的价值、记录信息和预测未来。应用:经营活动、考核、业绩披露。重大课题研究:(1)战略发展类:千禧一代战略客户研究,城市发展研究。(2)业务发展类:场景金融行业选择,风险形势分析。(3)机构诊断类:机构内外经营评价模型研究。大数据+云计算:(1)申请评分卡:贷前信用风控。(2)行为评分卡:贷中信用风控。(...原创 2018-09-12 16:20:41 · 191 阅读 · 0 评论 -
人工智能修炼之路(五)--2018年T11数据智能峰会
传统数据价值链:数据源》数据加工聚集平台》数据分析和建模》数据生产化工程化》数据产品智能应用。数据智能时代的数据价值链:配置数据采集数据校验,机器学习,机器资源管理,分析工具,特征提取,过程管理工具。突破:智能手机数:1377276480台;物联网设备: 8700000000台;行业规模:10000亿元。商业价值*N倍?探索:2011-2013年 saas服务、2014-2016年...原创 2018-09-12 16:16:34 · 428 阅读 · 0 评论 -
人工智能修炼之路(四)--蝶变
数据平台建设思路:(1)系统建设目标:共同愿景,数据平台规划》搭建数据平台》数据深度分析与创新能力》由分析化向智能化。其中数据平台规划:对现有系统进行梳理,包括内部交易系统,客户系统、市场数据和外部数据等;规划平台架构。数据平台搭建:ETL、数据分层设计、数据模型、数据可视化选型等、满足日常业务需求等;业务价值挖掘与增值服务,由数据分析想数据预测的创新服务;数据运营平台。由分析化向智能化包...原创 2018-09-12 15:40:56 · 243 阅读 · 0 评论 -
人工智能修炼之路(三)--大数据的本质
移动智能、数字化精准营销、共享协作是现在的商业基本模式。 (1)无论是企业行为或是政府决策,还是个人文化和心智修为,判断世间千人万物,甚至是力图洞察时空转换之宏大宇宙的变化等,都可以也应该嵌入数据化思考。数据化思考正是我们在IT时代或DT时代需要坚持的一个基本理念 (2)人们研究并开发利用的绝大部分数据是无用甚至是有害的,这个过程是一个既枯...原创 2018-09-12 10:46:26 · 226 阅读 · 0 评论 -
人工智能修炼之路(二)
参加9.6 Running2018国际数字化营销峰会主题(二) 美团点评提出构建用户场景商户构建了高价值的场景生态观点。具体做法:线上商家的数字化,线上门店、内容、视频。全流程:所见即所得。场景的找寻与匹配:挖掘场景价值,创造品牌增长。 AI赋...原创 2018-09-12 10:33:40 · 420 阅读 · 0 评论 -
人工智能修炼之路(一)
这几天一直忙着参加会议,来不及进行会议总结。今天,终于静下心来进行总结了。 9.6参加了Running2018国际数字化营销峰会,人气爆满。讲座精彩纷呈,给大家留下了很深的印象。 百度云负责人首先做了报告,主题是:释放AI智慧营销力量,AI是最底层的技术支撑。智慧需要三个方面:自我学习、理解决策能力、感知智能。自我学习就是让机器可以进行深度学习,自我提升能力...原创 2018-09-12 08:36:47 · 461 阅读 · 0 评论 -
VirtualBox的四种网络连接方式
VirtualBox中有4中网络连接方式:a. NAT 网络地址转换模式(Network Address Translation)b. Bridged Adapter 桥接模式c. Internal 内部网络模式d. Host-only Adapter 主机模式 1、NAT设置。NAT:...原创 2018-07-08 08:38:53 · 614 阅读 · 0 评论 -
机器学习之经典算法之(二十五) 最小二乘法
(一) 最小二乘法简介: 最小二乘法,也叫最小平方法,在古汉语中“平方”称为“二乘”,“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。最小二乘作为一种损失函数,在这整个解决方案中,最小二乘法演算为每一方程式的结果中,将残差平方和的总和最小化。最重要的应用是在曲线拟合上。最小平方所涵义的最佳拟合,即残差(残差为:观测值与模型提供的拟合值之间的...原创 2018-06-25 20:42:08 · 689 阅读 · 0 评论 -
机器学习经典算法之(十八) Linear Regression
一、线性回归简介: 在统计学中,线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。 为了了解这个定义,我们先举个简单的例子:假设一个线性方程y=2x+30, x变量为体重(k...原创 2018-06-18 21:33:26 · 2691 阅读 · 0 评论 -
机器学习经典之(二十二) 梯度下降法
(一)梯度下降法简介: 梯度下降算法(Gradient Descent Optimization)是迭代法的一种,其背后原理:目标函数关于参数的梯度将是目标函数上升最快的方向。对于最小化优化问题,只需要将参数沿着梯度相反的方向前进一个步长,就可以实现目标函数的下降。这个步长又称为学习速率。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descen...原创 2018-06-22 21:38:05 · 674 阅读 · 0 评论 -
机器学习之经典算法(十四) ID3算法
ID3算法简介:构造ID3决策树的基本算法是贪心算法,它以自顶向下递归的各个击破方式构造决策树。一种著名的决策树算法是ID3,算法的基本策略如下:①创建一个节点。如果样本都在同一类,则算法停止,把该节点改成树叶节点,并用该类标记。②否则,选择一个能够最好的将训练集分类的属性,该属性作为该节点的测试属性。计算最优特征子函数:不同标准导致不同类型的决策树,如ID3的最优特征选择标准是信息增益,C4...原创 2018-06-14 20:55:15 · 3778 阅读 · 0 评论 -
二进制文件与字符串数据转换问题
当存储为二进制文件时,读取需要进行转换,当然str到二进制格式也需要进行转换,方法如下:__author__ = 'jcy'# 保存至文件def savefile(savepath,content): fp = open(savepath,"wb") fp.write(content.encode()) #str转换为二进制存储 fp.close()# 读取文件def readfile(path)...原创 2018-06-14 18:05:23 · 5614 阅读 · 0 评论 -
机器学习经典算法之(二十一) 岭回归
(一) 岭回归简介:线性回归最主要问题是对异常值敏感。在真实世界的数据收集过程中,经过会遇到错误的度量结果。而线性回归使用的普通最小二乘法,其目标是使平方误差最小化。这时,由于异常值误差的绝对值很大,因此破坏整个模型。如何解决呢?我们引入正则化项的系数作为阈值来消除异常的影响。这个方法称为岭回归。(具体原理待完善,读者可参考其他文献)(二) 岭回归实现原理(代码参考《机器实战》):fromnu...原创 2018-06-21 22:23:30 · 1649 阅读 · 0 评论 -
Python3下OpenCV图像格式转换方法
OpenCV图像格式是BGR,和我们日常RGB图像颜色通道不一致,恰好相反。虽然颜色通道不一致,但每个颜色通道的值是没有问题的,如果解析出来,重新组合,就没有问题了。 下面的代码,test_probelm是观察效果。而method1、method2、method3提示了使用的三种方法。__author__ = 'jcy'import cv2import matplotlib....原创 2018-06-13 23:36:20 · 2498 阅读 · 0 评论 -
机器学习经典算法之(十三) 隐马尔可夫模型
一、隐马尔可夫模型简介: 隐马尔可夫模型(Hidden MarkovModel,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。 隐马尔可夫模型是马尔可夫链的一种,它的状态不能直接观察到,但能通过观测向量序列观察到,每个观测向量都是通过某些概率...原创 2018-06-13 21:17:55 · 3289 阅读 · 0 评论 -
Python构建人脸识别器
人脸识别对于人类来说很简单,如果对于机器,如何才能构建一个人脸识别器。 主要步骤如下: (1) 定义标签编码。在输入训练数据中,标签用单词表示,但我们需要数字来训练系统。 (2) 从每幅图中提取ROI属性值和标签编码器。 (3) 加载人脸级联文件。 (4) 生成局部...原创 2018-06-13 20:43:49 · 989 阅读 · 0 评论 -
python中cv2.putText参数详解
cv2.putText(img, str(i), (123,456)), font, 2, (0,255,0), 3) 各参数依次是:图片,添加的文字,左上角坐标,字体,字体大小,颜色,字体粗细其中字体可以选择 FONT_HERSHEY_SIMPLEX Python: cv.FONT_HERSHEY_SIMPLEX normal size sans-serif fontFONT_HERSHEY_P...原创 2018-06-13 15:42:16 · 149136 阅读 · 12 评论