Peter_Changyb的博客

大数据核心技术解读,微架构全栈知识总结

卷积神经网络的原理深入探讨

在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时,这时全连接网络需要训练的参数就会增大很多,计算速度就会变得很慢,例如一张黑白的 28×2828×28 的手写数字图片,输入层的神经元就有784个。 若在中间只使用一层隐藏层,参数 ww 就有 78...

2019-04-13 19:22:42

阅读数 393

评论数 0

PYSpark环境构建总结

一、需要的软件及版本 jdk版本:1.8 spark 版本:-2.4.0-bin-hadoop2.7 scala版本:2.12 (可选) hadoop版本:2.7 ====另外需要 python版本:3.7 或者anaconda pyspark以及py4j pycha...

2019-04-12 15:45:55

阅读数 59

评论数 0

主流人工智能技术栈深度探讨和实践总结

人工智能是让机器像人一样思考甚至超越人类,而机器学习是实现人工智能的一种方法,它最基本的做法是使用算法来解析数据、从中学习,然后对真实世界中的事件做出决策和预测。深度学习又是机器学习的一种实现方式,它是模拟人神经网络的方式,用更多的层数和神经元,给系统输入海量的数据来训练网络。下面是我从主流人工智...

2019-04-12 14:55:59

阅读数 98

评论数 0

如何建立一流的互联网产品研发体系?

纵观历史,打江山容易守江山难,原因是打江山靠胆识,守江山看智慧,而管理者的智慧体现在制度制定和执行上。众所周知,一流企业看制度,二流企业看老板。好的制度是企业和团队成功的必要条件:从繁杂的事务中节省时间,确定流程和各个里程碑的输出目标和要求;提升工作效率和评价机制;建立公正的评价机制;团队之间可以...

2019-04-11 15:06:01

阅读数 135

评论数 0

大数据在电子商务的的五大发展趋势分析

新技术驱动电子商务融合

2019-03-31 11:43:54

阅读数 166

评论数 0

人工智能专家:总结AI在医疗的发展

辅助病情诊断 就能将医院不同系统、科室的多维度数据整合在一起,让医生可以了解到患者全面的诊疗记录,帮助医生更好地进行病情诊断,这其中就用到了大量AI技术,包括专家系统的概念、医学数据治理、医学自然语言处理和数据挖掘。 AI图像识别技术 复星旗下专注人工智能影像诊断技术研发的杏脉科技,在油罐艺术中...

2019-03-28 14:46:19

阅读数 312

评论数 0

资深大数据专家:作为AI时代的技术管理者,何为作战能力?

AI将对各行业带来巨大变革,一个更加智慧的时代正加速来临,将给人类的生产和生活方式带来颠覆和改变,随着人工智能技术广泛应用,势必将开启一个暂新的万物感知新时代。未来的大数据和人工智能发展会渗透到各个垂直行业领域,尤其在企业数据资源化、传统行业智能化、分析引擎产品化等方向上迎来前所未有的发展机遇。 ...

2019-03-28 12:55:56

阅读数 375

评论数 0

资深架构师总结“大数据全栈技术与商用平台架构设计经验”

各位好: 12年前,我加入中国电科,参与并主导设计的某平台荣获国家科技进步一等奖。8年前,我出任华为云第一代架构师,带领团队研制并运营了国内首个公有云平台。回首10年多的科研工作历程,也是中国经济高速发展的10多年,中国高铁、核电、航空、互联网、云计算、大数据、人工智能等领域无不铭刻着“中国...

2019-03-19 14:43:42

阅读数 4236

评论数 17

深入思考程序员的"中年危机"

针对从事互联网工作的各位精英和中层干部,3月19日这是个非常好的时间点,给大家敲响警钟!腾讯CEO马化腾曾发出“腾讯一两千个总监级干部里,30岁以下的有多少”这样的问题。 中国互联网大公司对管理层的改革并非腾讯一家而已。大约在腾讯裁撤中干的同一时期,京东官方证实将对10%的副总裁以上高管进行...

2019-03-19 13:13:18

阅读数 1289

评论数 3

SpringMVC框架升级为SpringBoot的案例图解

存储端maven版本和spring-boot版本区别 Maven版本的mongodb.properties以及mongodb.xml在boot版本已删除, 取代的是在boot的核心配置文件中增加 在boot版本中新增springboot的启动加载类 以及hbase的配置类 ...

2019-03-19 09:28:48

阅读数 133

评论数 0

LSTM Networks原理及实战

RNN 介绍 循环神经网络(Recurrent Neural Network,RNN)是一类专门用于处理时序数据样本的神经网络,它的每一层不仅输出给下一层,同时还输出一个隐状态,给当前层在处理下一个样本时使用。就像卷积神经网络可以很容易地扩展到具有很大宽度和高度的图像,而且一些卷积神经网络还可以处...

2019-03-18 11:12:30

阅读数 100

评论数 0

TensorFlow进行逻辑回归预测胃癌案例

给大家一个我写的预测胃癌的案例,cancer.txt中保存了26个人的数据,按照第一行的标准处理数据。 0 ,0,59,2,43.,4,2,1 其他格式如下: 0 1:36 2:1 3:57.2 4:1 5:1 0 1:61 2:2 3:190 4:2 5:1 1 1:58 2:3 3:128...

2019-03-18 10:49:32

阅读数 91

评论数 0

Java调用微信支付代码

核心需求:用户点击按钮,生成一个二维码,微信扫码之后支付成功。要调用微信的接口,首先你需要引入微信支付的jar包,如下: 引入微信支付的jar包 <dependency> <groupId>com.gi...

2019-03-15 16:43:59

阅读数 145

评论数 0

深入分析高并发框架Mina和Netty的内存模型差异

Mina和Netty的区别这样来看: Mina:开发高性能和高可用性的网络应用程序的基础框架。 Netty:开发高性能和高可用性的网络应用程序的基础框架。 内存分配方式:HeapByteBuffer和DirectByteBuffer分配。 线程模型:分析的数据集生成,数据处理,数据建模,数...

2019-03-15 11:20:03

阅读数 122

评论数 0

支付系统的平台架构分析和思考

支付系统从架构上来说,分为三层; 支撑层: 用来支持核心系统的基础软件包和基础设施, 包括运维监控系统、日志分析系统等。 核心层: 支付系统的核心模块,内部又分为两个部分: 支付核心模块以及支付服务模块。 产品层: 通过核心层提供的服务组合起来,对最终用户、商户、运营管理人员提供的系统。 支付基...

2019-03-14 11:02:12

阅读数 234

评论数 0

TensorFlow的神经网络设计讲解

核心知识讲解: 过程:输入特征=>模型预测=>根据结果计算一下损失(损失就是距离target的差距),然后将参数更新,再放回模型中预测,直至收敛,使得损失变得最小,这时候的参数就是我们想要的参数 梯度(gradient):偏导数相对于所有自变量的向量...

2019-03-13 16:18:55

阅读数 129

评论数 0

大数据开发的高质量面试题

面试官:您好,请讲述一个自己最熟悉的项目,自己在其中的贡献? 最优解答: l项目规模和介绍:某项目,是为多少用户提供什么服务,哪些功能和核心模块。 l技术架构:遇到高并发,高可用的实际问题是什么,因此采用Hadoop离线处理和Spark实时计算。 l技术难点一:离线处理中的数据处理,比如数...

2019-03-13 15:57:30

阅读数 166

评论数 0

极大使然估计对比最小二乘法思想

极大似然估计概述:小样本预测大样本发生的概率 下面结合一个例子介绍极大似然估计法的思想和方法: 设一个袋子中有黑、白两种球,摸到白球的概率为p,现在要估计p的值。 我们令总体X为 \[ X = \left. \begin{cases} 0,\quad 从袋中取得一白球,\\ 1,\quad 从...

2019-03-13 11:12:57

阅读数 56

评论数 0

实战人工智能框架PyTorch的模型训练

我们关心网络结构和数据,定义损失函数,定义优化函数等。 具体步骤如下: 第一步:图像封装为向量后,将输入input向前传播,进行运算后得到输出output 第二步:将output再输入loss函数,计算loss值(是个标量)-损失函数用来得到新权重 第三步:将梯度反向传播到每个参数(优化函...

2019-03-12 11:13:13

阅读数 169

评论数 0

一流项目历练大专家,核心技术挑战新高度

2019年,是国家大力发展大数据和人工智能产业的关键一年,需要更多中高端大数据人才助力,尤其是从事大数据相关专业领域的工程师,要迅速响应国家战略发展方向,我们必须要从事有核心技术的高质量项目,来提升和历练自己的核心竞争力!尤其在核心知识机构开始快速更替的关键时刻,掌握大数据和人工智能的核心项目从业...

2019-03-10 14:04:11

阅读数 129

评论数 0

提示
确定要删除当前文章?
取消 删除