软件开发前言技术系列讲座

一、最开始的题目

1、大数据
1）大数据背景下软件开发的特点(分条)，
2）大数据背景下软件开发要注意什么(或需要关注的是什么)。
价值，数据量，速度，复杂度，多样性

2、什么是云计算？(给出你使用过的一个云平台(没用过就编一个)）
1）相关的云平台
2）7大特点：高可靠性，可伸缩性，超大规模，高度虚拟化，高可用的，廉价，按需服务
3）服务类型分类：软件及服务SAAS, 平台及服务platform PAAS，基础设施服务Infrastructure IAAS
上面3项对应的例子：在线的客户关系管理系统，微软的azure、腾讯的云平台，亚马逊的什么

3、人工智能
1）人工智能的方法（什么是卷积神经网络，什么是深度学习）
2）人工智能算法
3）深度学习常用的软件4个：TensorFlow, Caffe, Torch, Deeplearning

4、说出人工智能、大数据、云计算相互的联系。

5、大题：
1）假设你是一个需求分析师：大数据的应用平台，业务、数据的架构、（大问题25分）
2）结合人工智能算法或者机器学习：举例说明，人工智能对生活的影响。。。

二、版本更新：

001版本：（wlc）

【】前缀，表示1个题目


【】大数据的概念。
大数据（big data）：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]  中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）
【】大数据背景下软件开发的特点(分条)
①数据的资源化
何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。
②与云计算的深度结合
大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。
③数据质量是BI（商业智能）成功的关键
采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。
④数据生态系统复合化程度加强
大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。
【】大数据背景下软件开发要注意什么(或需要关注的是什么)。
价值，数据量，速度，复杂度，多样性
【】什么是云计算？(给出你使用过的一个云平台(没用过就编一个)）
云计算（cloud computing）是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内（几秒钟）完成对数以万计的数据的处理，从而达到强大的网络服务。 [1] 
现阶段所说的云服务已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。 [1]
【】卷积神经网络的特点
具有3个特点：局部连接、权值共享、层次化表达。
（1）局部连接
由于图像通常具有局部相关性，因此卷积计算每次只在与卷积核大小对应的区域进行，也就是说输入和输出是局部连接的。如果使用多层感知器来处理图像，一种简单的思路是将多维度的输入图像变换为一个向量并作为多层感知器的输入，对于大小为224×224×3的图像，拉平为一个向量作为输入将会需要150528个神经元。如果第一个隐藏层神经元数量为32，那么将会引入480万个参数，这么大的参数量会带来两个问题：第一，计算复杂度高；第二，有过拟合的风险。如果使用3×3的卷积核，输出的通道数为32，引入的参数量在1000以下，远远小于多层感知器需要的参数。
（2）权值共享
卷积的第二个特征是权值共享。在图像中，不同的区域使用相同的卷积核参数，这一方面减少了参数量，另一方面带来了平移不变性。平移不变性指的是不管输入如何平移，总能够得到相同的输出。比如，对于左右两只完全相同的眼睛，使用相同的卷积核，在眼睛对应的区域进行卷积，都能够输出相同的结果，这是由权值共享机制带来的。另外，池化也带来了一些平移不变性，比如最大值池化，因为它是对感知野的信息使用最大值进行聚合，当输入在感知野内变化时，池化层的输出也不会改变。
（3）层次化表达
卷积网络的第三个特征是可以学到层次化的表达。卷积网络通过卷积层堆叠得到，每一层都是对前一层进行变换，提取的特征从低层次到高层次，逐渐变得抽象。如图 3-9所示，低层次的卷积一般是提取一些简单的特征，比如颜色、边缘、角等，它的感知野相对较小，对应的都是局部性特征；中间层次的卷积得到的特征开始变得抽象，比如纹理结构等；高层次的卷积得到的特征更加抽象，与图像的语义、具体包含的目标相关，由于它的感知野更大，因此它是更加全局性的特征。高层次的特征是在低层级特征的基础上得到的，通常来说，低层次的特征更加通用，高层次的特征与具体的任务关联性更强。
【】什么是深度学习？
深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。 [1] 
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。 [1] 
深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步

【】说出人工智能、大数据、云计算相互的联系。
AI，总是不可避免的联想到大数据与云计算，这三者可谓相辅相成，唯有全部结合起来，才有可能成为真正的人工智能。当然，本文只是以一个普通人的视角来探寻这三者之间的联系。
简单来说，AI是基于计算机软硬件，通过模拟人类思考和智能行为的一种理论方法和技术。
而云计算则是将服务器、存储器、存储设备以及网络等资源打包成云端，为客户提供相关的按使用量付费的模式。
大数据则是将结构化数据和非结构化数据形成的所有数据整合起来，用以分析发现数据背后相关关系的信息资产。
从上面简单一句话的解释来看，就可以发现三者之间都有着一丝隐秘的关联。大数据便是AI智能化程度升级和进化的基础，拥有大数据，AI才能够不断的进行模拟演练，不断向着真正的人工智能靠拢。
【】AI人工智能的10种 常用算法
决策树、随机森林算法、逻辑回归、SVM、朴素贝叶斯、K最近邻算法、K均值算法、Adaboost算法、神经网络、马尔可夫。
【】深度学习常用的软件(列举至少四个)
答案:TensorFlow   Caffe   Torch  Deep
【】云计算的7个特点:
超大规模  虚拟化  高可靠性  通用型  可伸缩性  按需服务  廉价
【】给出云计算按服务类型的分类:
云计算按照服务类型可以分为，将软件作为服务(SaaS)、将平台作为服务(PaaS) 、将基础设施作为服务(laaS) 
上面3项对应的例子：在线的客户关系管理系统，微软的azure、腾讯云平台，亚马逊
【】基于人工智能的软件在日常生活中给我们带来什么影响。
①人工智能给我们的生活带来了非常大的方便，在各方面扫地机器人的出现
②人工智能方便了，我们的生活比如出门用地图导航，然后在外地的时候想家人也可以视频电话给家人打视频电话
③火车站人脸识别的安检逐渐被推广开了，大家把身份证和火车票放在感应区，摘下眼镜看着摄像头，就可以拖着行李箱过去了。
方便快捷，重点是人少，速度快，相对于传统的排队检票，这种方式对人工的依赖性进一步降低，堪比快捷通道。
【】假设你是一个项目分析师，搭建个项目分析台：大数据的应用平台，业务、数据的架构、（大问题25分）
需求一：为了深度洞察客户，业务人员一般需要一个标签库，以获得营销的目标用户，标签库在一定程度上跟广告公司DMP一致，这是程序化广告的一个核心。
需求二：传统企业线下渠道的管理异常复杂，比如多级组织，业务不统一等，集中式的营销平台往往水土不服，难以适应新的变化，开放组件给一线自由组装是一种解决办法，这是跟互联网公司的投放平台不一样的地方，必须适应现状。
需求三：标签库不是万能的，企业无论有多少现成标签，都需要基于市场变化去重新定制模型或标签，这就需要一个透明化的数据开发（挖掘）工具，让业务人员自己去DIY。
需求四：获得了标签，业务人员还需要一个便捷的营销管理平台以触达客户，类似于广告的DSP，包括营销策划、营销执行及营销平台等系列功能。

6、资料