
人工智能技术
文章平均质量分 90
常耀斌
CTO,AI科学家。2024年,清华大学出版社发行《大数据架构之道和项目实战》《AI赋能企业数字化转型》《深度学习和大模型实战》
展开
-
企业4A架构
数字化转型与中台架构技术本身不会创造价值,技术+运营+产品+服务才会创造商业价值, 数字化转型的关键:商业模式+数字化结合 数字化转型的建设过程:业务局部延展到全局,内部业务到外部业务 组织架构要支撑转型,需要总体规划蓝图,阶段目标 组织人才体系:运营机制,组织机构,薪酬体系与传统分开中台定位和价值:中台就是为了让企业进行核心能力的沉淀,更给予我们快速创新的机会,具体包括:1、核心服务沉淀:中台赋予业务快速创新和试错能力企业可以聚焦核心共享服务的建设,提高服务的重用。核心能力以服.原创 2021-08-07 13:01:38 · 904 阅读 · 0 评论 -
AI大模型系列之五:BERT技术详解(深度好文)
BERT(Bidirectional Encoder Representations from Transformers)是由 Google 开发的一个预训练模型,通过无监督的学习方式,可以学习出一种通用的语言表征,即每个词汇的向量表示,这些向量表示可以应用到各种自然语言处理任务中,例如句子分类、命名实体识别、问答等任务。BERT 的主要贡献是提出了一种双向 Transformer 模型,可以通过对上下文的建模来更好地表示词汇。原创 2020-10-19 16:09:32 · 29039 阅读 · 2 评论 -
极大使然估计对比最小二乘法思想
极大似然估计概述:小样本预测大样本发生的概率下面结合一个例子介绍极大似然估计法的思想和方法:设一个袋子中有黑、白两种球,摸到白球的概率为p,现在要估计p的值。我们令总体X为\[X = \left.\begin{cases}0,\quad 从袋中取得一白球,\\1,\quad 从袋中取得一黑球.\\\end{cases}\right.\]则X服从01分布\(B(1,p)\...原创 2019-03-13 11:12:57 · 1057 阅读 · 0 评论 -
TensorFlow进行逻辑回归预测胃癌案例
给大家一个我写的预测胃癌的案例,cancer.txt中保存了26个人的数据,按照第一行的标准处理数据。0 ,0,59,2,43.,4,2,1其他格式如下:0 1:36 2:1 3:57.2 4:1 5:10 1:61 2:2 3:190 4:2 5:11 1:58 2:3 3:128 4:4 5:31 1:55 2:3 3:80 4:3 5:40 1:61 2:1 3:94.4 ...原创 2019-03-18 10:49:32 · 1254 阅读 · 0 评论 -
LSTM Networks原理及实战
RNN 介绍循环神经网络(Recurrent Neural Network,RNN)是一类专门用于处理时序数据样本的神经网络,它的每一层不仅输出给下一层,同时还输出一个隐状态,给当前层在处理下一个样本时使用。就像卷积神经网络可以很容易地扩展到具有很大宽度和高度的图像,而且一些卷积神经网络还可以处理不同尺寸的图像,循环神经网络可以扩展到更长的序列数据,而且大多数的循环神经网络可以处理序列长度不同的...原创 2019-03-18 11:12:30 · 1303 阅读 · 0 评论 -
资深大数据专家:作为AI时代的技术管理者,何为作战能力?
AI将对各行业带来巨大变革,一个更加智慧的时代正加速来临,将给人类的生产和生活方式带来颠覆和改变,随着人工智能技术广泛应用,势必将开启一个暂新的万物感知新时代。未来的大数据和人工智能发展会渗透到各个垂直行业领域,尤其在企业数据资源化、传统行业智能化、分析引擎产品化等方向上迎来前所未有的发展机遇。 2017 年四季度,中国科技部确定四大AI平台:百度的自动驾驶,其产品是阿波罗平台;...原创 2019-03-28 12:55:56 · 2949 阅读 · 0 评论 -
人工智能专家:总结AI在医疗的发展
辅助病情诊断就能将医院不同系统、科室的多维度数据整合在一起,让医生可以了解到患者全面的诊疗记录,帮助医生更好地进行病情诊断,这其中就用到了大量AI技术,包括专家系统的概念、医学数据治理、医学自然语言处理和数据挖掘。AI图像识别技术复星旗下专注人工智能影像诊断技术研发的杏脉科技,在油罐艺术中心3号馆搭建了一座“未来诊室”。AI图像识别技术通过对肺部CT片的大数据进行深度学习,从数据优化到模型...原创 2019-03-28 14:46:19 · 3656 阅读 · 0 评论 -
AI技术栈实践分析
人工智能是让机器像人一样思考甚至超越人类,而机器学习是实现人工智能的一种方法,它最基本的做法是使用算法来解析数据、从中学习,然后对真实世界中的事件做出决策和预测。深度学习又是机器学习的一种实现方式,它是模拟人神经网络的方式,用更多的层数和神经元,给系统输入海量的数据来训练网络。下面是我从主流人工智能平台技术架构的五层模型来分析技术栈。五层分别是基础数据层,计算引擎层,分析引擎层,应用引擎层...原创 2019-04-12 14:55:59 · 4765 阅读 · 0 评论 -
PYSpark环境构建总结
一、需要的软件及版本 jdk版本:1.8 spark 版本:-2.4.0-bin-hadoop2.7 scala版本:2.12 (可选) hadoop版本:2.7 ====另外需要 python版本:3.7 或者anaconda pyspark以及py4j pycharm的安装,暂时用社区版吧 二、环境变量配置:JAVA_HOME=C:\gyhProgramF...原创 2019-04-12 15:45:55 · 2027 阅读 · 0 评论 -
卷积神经网络的原理深入探讨
在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时,这时全连接网络需要训练的参数就会增大很多,计算速度就会变得很慢,例如一张黑白的 28×2828×28 的手写数字图片,输入层的神经元就有784个。若在中间只使用一层隐藏层,参数 ww 就有 784×15=11760784×15=11760 多个;若输入的是28×2828×28 带有颜色的RGB...原创 2019-04-13 19:22:42 · 2263 阅读 · 0 评论 -
人工智能专家:开发必备知识的技术栈总结
很多人问我怎么快速掌握AI技能,我觉得可以从这个体系入手:第一部分Python详解 环境构建 基础编程 数组和元组 文件操作 函数编写 面向对象 MYSQL编程 网络编程 多线程编程 JSON编写 第二部分人工智能 人工智能的整体布局和发展趋势 人工智能、机器学习、深度学习解析 深度学习工具对比和演示 TensorFlow环境构...原创 2019-05-11 14:12:35 · 2668 阅读 · 0 评论 -
CNN的原理图解
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。对比:卷积神经网络、全连接神经网络左图:全连接神经网络(平面),组成:输入层、激活函数、全连接层右图:卷积神经...转载 2019-08-25 10:19:05 · 6286 阅读 · 1 评论 -
Faster R-CNN 介绍
《Faster R-CNN: Towards Real-Time ObjectDetection with Region Proposal Networks》算法主要解决两个问题:1、提出区域建议网络RPN,快速生成候选区域;2、通过交替训练,使RPN和Fast-RCNN网络共享参数。一、 RPN网络结构RPN网络的作用是输入一张图像,输出一批矩形候选区域,类似于以往目标检测中...原创 2019-08-25 11:45:45 · 977 阅读 · 0 评论 -
Alextnet网络
Alextnet网络结构图从这个图我们可以很清楚地看到Alexnet的整个网络结构是由5个卷积层和3个全连接层组成的,深度总共8层。图片上已经有一个较清楚的层与层直接转换的过程,那么接下来就对各层做个简单的解读。Process--cov11.输入Input的图像规格: 224X224X3(RGB图像),实际上会经过预处理变为227X227X32.使用的96个大小规格为1...原创 2019-08-25 11:58:12 · 2249 阅读 · 0 评论 -
AI专家:主流CNN网络的演变的哲学分析
AlexNet,VGG,Inception和ResNet是最近一些流行的CNN网络。为什么这些网络表现如此之好?它们是如何设计出来的?为什么它们设计成那样的结构?我们试着去探讨上面的一些问题。随着越来越复杂的架构的提出,一些网络可能就流行几年就走下神坛,但是其背后的设计哲学却是值得学习的。网络结构设计是一个复杂的过程,需要花点时间去学习,甚至更长时间去自己动手实验。首先,我们先来讨论一个...原创 2019-08-25 12:06:12 · 1329 阅读 · 0 评论 -
实战人工智能框架PyTorch的模型训练
我们关心网络结构和数据,定义损失函数,定义优化函数等。具体步骤如下:第一步:图像封装为向量后,将输入input向前传播,进行运算后得到输出output第二步:将output再输入loss函数,计算loss值(是个标量)-损失函数用来得到新权重第三步:将梯度反向传播到每个参数(优化函数):主要指标是 学习速率原创 2019-03-12 11:13:13 · 1744 阅读 · 0 评论 -
TensorFlow的神经网络设计讲解
核心知识讲解:过程:输入特征=>模型预测=>根据结果计算一下损失(损失就是距离target的差距),然后将参数更新,再放回模型中预测,直至收敛,使得损失变得最小,这时候的参数就是我们想要的参数梯度(gradient):偏导数相对于所有自变量的向量。在机器学习中,梯度是模型函数偏导数的向量。梯度指向最速上升的方向。 梯度下降法(gradient descent):一种通过计...原创 2019-03-13 16:18:55 · 974 阅读 · 0 评论 -
TensorFlow 人工智能框架安装
TensorFlow 深度学习框架安装安装Python环境,TensorFlow支持Python3.5.x和Python3.6.x版本,可通过Anaconda软件安装,建议选择默认安装路径(C:\ProgramData\Anaconda3)。Anaconda集成了大部分常用的科学计算方面的python库,非常强大; 安装TensorFlow库,官方建议使用pip install –upgra...原创 2018-08-03 11:08:16 · 913 阅读 · 0 评论 -
初识TensorFlow机器学习框架
TensorFlow 是一个开源机器学习框架,具有快速、灵活并适合产品级大规模应用等特点,让每个开发者和研究者都能方便地使用人工智能来解决多样化的挑战。TensorFlow能够让你直接解决各种机器学习任务。目标就是在一般情况下,无论你遇到什么问题,TensorFlow都可以在一定程度上提供API的支持。问题:判断一张图片中包含的是猫还是狗。这用传统的编程方法很难甚至不可能解决。因为...原创 2018-09-13 10:46:15 · 824 阅读 · 0 评论 -
TensorFlow之张量思维训练
1.构建基本数据流图2.修改为张量描述图import tensorflow as tfa= tf.constants([5,3],name="imput_a")b= tf.reduce_prod(a,,name="prod_b")c= tf.reduce_sum(a,name="sum_c")d= tf.add(c,d,name="add_d")数学实例 ...原创 2018-09-14 09:37:47 · 880 阅读 · 0 评论 -
《人工智能》之读书笔记
“人工智能”被写入2017年政府工作报告,智能革命时代先行者李开复解读AI如何重塑个人、商业与社会的未来图谱。2017年5月文化发展出版社出版图书。《人工智能》这本书其实就是告诉我们:个人应该做些什么,才能避免被AI取代?企业应该如何升级,才能在新的商业变局到来前抓住先机? 人工智能时代,程式化的、重复性的、仅靠记忆与练习就可以掌握的技能将是最没有价值的技能,几乎一定可...原创 2018-10-08 14:46:10 · 2737 阅读 · 0 评论 -
智能机器人的核心技术和技术指标总结
机器人具备三大核心技术:自然语言处理、自主意识及自主导航。 自然语言处理 机器人采用基于深度学习算法的自然语言处理技术,设计一个语音识别处理引擎,使机器人可以理解人的语言,并且根据知识库的内容,针对人提出的问题,通过语音的方式回答。自主意识为使其像人类一样思考,机器人模拟人类的思维模式,接收外界信息后,能够以人类智能相似的方式做出反应,建立机器人的自我意识,与用户进行语音交流,使用户消除人...原创 2018-10-23 17:51:22 · 11606 阅读 · 0 评论 -
AI大模型系列之十:卷积神经网络原理
CNN到底是怎么识别的?用CNN有哪些优势呢?我下面就来简单分析一下。为什么要用神经网络?对于同一个分类任务,我们可以用机器学习的算法来做,为什么要用神经网络呢?大家回顾一下,一个分类任务,我们在用机器学习算法来做时,首先要明确feature和label,然后把这个数据"灌"到算法里去训练,最后保存模型,再来预测分类的准确性。但是这就有个问题,即我们需要实现确定好特征,每一个特征即为一个维.........原创 2018-11-09 16:37:59 · 799 阅读 · 1 评论 -
TensorFlow中利用CNN处理图像总结
看了很多书,也实战了,但是总想用通俗的语言来讲述一下CNN处理的过程,今天我有幸和大家分享一下。首先,卷积神经网络就是至少包含一层的神经网络,该层的功能是:计算输入f与可配置的卷积核g的卷积,生成输出。卷积的目的就是把卷积核应用到某个张量的所有点上,通过卷积核的滑动生成新的滤波后的张量。卷积的价值在于对输入降维能力,通过降维改变卷积核的跨度strides参数实现。设置跨度是调整输入张量维数的方...原创 2018-11-16 11:20:32 · 1711 阅读 · 0 评论 -
TensorFlow的非线性回归实战
import osimport tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt os.environ["TF_CPP_MIN_LOG_LEVEL"] = '2' # 只显示 warning 和 Error x_data = np.linspace(0, 1, 200)[:, np.newaxi...原创 2018-11-22 16:34:28 · 297 阅读 · 0 评论 -
TensorFlow的目标图像识别
卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习,所以在使用CNN时,避免了显式的特征抽取,而隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经元权值相同,所以网络可以并行学习,这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性,其布局更接近于实...原创 2018-11-22 16:44:45 · 905 阅读 · 0 评论 -
AI大模型系列之九:人脸识别技术
图像识别的过程总结如下:信息的获取:是通过传感器,将光或声音等信息转化为电信息。信息可以是二维的图象如文字,图象等;可以是一维的波形如声波,心电图,脑电图;也可以是物理量与逻辑值。 预处理:包括A\D,二值化,图象的平滑,变换,增强,恢复,滤波等, 主要指图象处理。 特征抽取和选择:在模式识别中,需要进行特征的抽取和选择,例如,一幅64x64的图象可以得到4096个数据,这种在测量空间的原...原创 2018-12-03 09:28:59 · 17995 阅读 · 1 评论 -
主流人工智能平台的架构及调优经验总结
人工智能(Artificial Intelligence)是一个大的概念,是让机器像人一样思考甚至超越人类;机器学习(Mechine Learning)是实现人工智能的一种方法,机器学习最基本的做法,是使用算法来解析数据、从中学习,然后对真实世界中的事件做出决策和预测;深度学习(Deep learning)又是机器学习的一种实现方式,他是模拟人神经网络的方式,用更多的层数,更多的神经元,然...原创 2018-12-17 09:55:03 · 3827 阅读 · 0 评论 -
2019年中国人工智能在医疗行业的发展情况分析
原创 2019-01-30 13:56:31 · 1377 阅读 · 0 评论 -
AI医学影像的发展及业务汇总
原创 2019-01-30 14:08:47 · 913 阅读 · 0 评论 -
区块链的原理解析
区块链技术,别称:分布式账本,最早是比特币的基础技术,目前世界各地均在研究,可广泛应用于金融等各领域。区块链是什么?2008年中本聪发表的论文《比特币:一种点对点的电子现金系统》。文章提出,希望可以创建一套新型的电子支付系统,这套系统“基于密码学原理而不是基于信用,使得任何达成一致的双方能够直接进行支付,从而不需要第三方中介参与”。2009年1月3日,区块链的第一个区块诞生,该区块又名“创世...原创 2018-08-21 16:20:46 · 7199 阅读 · 1 评论