CS领域前沿技术知识汇总

目录

前沿技术

1.人工智能

概念

应用领域

研究方法

现阶段研究成果

发展阶段

计算时代

大量程序时代

弱人工智能时代

强人工智能时代：

旗下领域

深度学习

自然语言处理

2.大数据

概念

特征

大数据技术架构

Hadoop技术

未来大数据趋势

3.云计算

概念

4.数据挖掘

概念

5.物联网

概念

6.区块链

概念

---

前沿技术

从技术的角度划分，现阶段CS领域的前沿技术主要包含以下几大领域：

• 人工智能
• 大数据
• 云计算
• 数据挖掘
• 物联网
• 区块链

1.人工智能

概念

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

应用领域

人工智能做为一门边缘学科，属于自然科学和社会科学的交叉。现阶段主要应用在机器视觉，指纹识别，人脸识别，专家系统，自动规划，智能搜索，定理证明，博弈，语言和图像理解等。

研究方法

大脑模拟、统计学法、符号处理、集成方法

现阶段研究成果

现阶段研究成果主要包含人机博弈、模式识别、自动驾驶和知识工程等。其中知识工程包括智能搜索引擎、计算机视觉(CV)、机器翻译、数据挖掘等。

发展阶段

• 计算时代

• 大量程序时代

专家系统的出现，专家系统被用于股市预测，帮助医生诊断疾病，以及指示矿工确定矿藏位置等.

• 弱人工智能时代

弱人工智能观点认为不可能制造出能真正地推理（REASONING）和解决问题（PROBLEM_SOLVING）的智能机器，这些机器只不过看起来像是智能的，但是并不真正拥有智能，也不会有自主意识。主流的科研集中在弱人工智能上，并且一般认为这一研究领域已经取得可观的成就。强人工智能的研究则处于停滞不前的状态下。

• 强人工智能时代：

强人工智能观点认为有可能制造出真正能推理（REASONING）和解决问题（PROBLEM_SOLVING）的智能机器，并且这样的机器能将被认为是有知觉的，有自我意识的。强人工智能可以有两类：类人的人工智能，即机器的思考和推理就像人的思维一样。非类人的人工智能，即机器产生了和人完全不一样的知觉和意识，使用和人完全不一样的推理方式。

旗下领域

• 深度学习
• 自然语言处理(NLP)

深度学习

• 概念

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

• 深度学习是一类模式分析方法的统称

1.基于卷积运算的神经网络系统，即卷积神经网络(CNN)

2.基于多层神经元的自编码神经网络，包括自编码(Autoencoder)以及近年来受到广泛关注的稀疏编码两类

3.以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)

• 特点

1. 强调模式结构的深度，通常有5层甚至10层隐层节点

2. 明确特征学习的重要性

• 典型模型

1. 卷积神经网络模型

在无监督预训练出现之前，训练深度神经网络通常非常困难，而其中一个特例是卷积神经网络。卷积神经网络受视觉系统的结构启发而产生。第一个卷积神经网络，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，用误差梯度设计并训练卷积神经网络，在一些模式识别任务上得到优越的性能。至今，基于卷积神经网络的模式识别系统是最好的实现系统之一，尤其在手写体字符识别任务上表现出非凡的性能。

2. 深度信任网络模型

DBN可以解释为贝叶斯概率生成模型，由多层随机隐变量组成，上面的两层具有无向对称连接，下面的层得到来自上一层的自顶向下的有向连接，最底层单元的状态为可见输入数据向量。

3. 堆栈自编码网络模型

堆栈自编码网络的结构与DBN类似，由若干结构单元堆栈组成，不同之处在于其结构单元为自编码模型(auto-en-coder)而不是RBM。

• 训练过程

1. 自下上升的非监督学习

就是从底层开始，一层一层地往顶层训练。采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，这也是和传统神经网络区别最大的部分，可以看作是特征学习过程。

2. 自顶向下的监督学习

就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调。

• 应用

1. 计算机视觉

2. 语音识别

3. 自然语言处理：word2vector能够更好地表达语法信息。深度学习在自然语言处理等领域主要应用于机器翻译以及语义挖掘等方面。

自然语言处理

• 定位

自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一。

• 主要范畴

1. 文本朗读/语音合成

2. 中文自动分词(文本分类、词性标注)

3. 机器翻译

4. 问答系统

5. 信息检索

6. 信息抽取(自动摘要、文本校对)

7. 自然语言生成

8. 语音识别

• 研究难点

1. 单词的边界界定

2. 词义的消歧

3. 句法的模糊性

4. 有瑕疵和不规范的输入

5. 语言行为和计划

• 相关技术

数据稀疏与平滑技术

2.大数据

概念

大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

特征

5V特征：容量大、速度快、种类多、价值密度低、可变性

大数据技术架构

Hadoop技术

• 概念

Hadoop是Apache公司开发的一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。

• 核心

1. HDFS(分布式文件存储系统)

数据以块的形式，分布在集群的不同节点。在使用HDFS时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需像使用本地文件系统一样管理和存储文件系统中的数据。

2. MapReduce(分布式计算框架)

分布式计算框架将复杂的数据集分发给不同的节点去操作，每个节点会周期性的返回它所完成的工作和最新的状态。大家可以结合下图理解MapReduce原理。

3. YARN(资源调度器)

相当于电脑的任务管理器，对资源进行管理和调度。

• 其他重要模块

4. HBASE(分布式数据库)

HBase是非关系型数据库(Nosql)，在某些业务场景下，数据存储查询在Hbase的使用效率更高。

5. HIVE(数据仓库)

HIVE是基于Hadoop的一个数据仓库工具，可以用SQL的语言转化成MapReduce任务对hdfs数据的查询分析。HIVE的好处在于，使用者无需写MapReduce任务，只需要掌握SQL即可完成查询分析工作。

6. Spark(大数据计算引擎)

Spark是专为大规模数据处理而设计的快速通用的计算引擎，核心是基于内存计算。

7. Mahout(机器学习挖掘库)

Mahout是一个可扩展的机器学习和数据挖掘库。

8. Sqoop

Sqoop可以将关系型数据库导入Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

未来大数据趋势

1. 数据资源化

2. 与云计算的深度结合

3. 科学理论的突破

4. 数据科学与数据联盟的成立

5. 数据泄露泛滥

3.云计算

概念

狭义上讲，云计算就是一种提供资源的网络，从广义上说，云计算是与信息技术、软件、互联网相关的一种服务，这种计算资源共享池叫做“云”，云计算把许多计算资源集合起来，通过软件实现自动化管理，只需要很少的人参与，就能让资源被快速提供。

4.数据挖掘

概念

数据挖掘是指从大量数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

5.物联网

概念

物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。

6.区块链

概念

区块链起源于比特币，是一个信息技术领域的术语。从本质上讲，它是一个共享数据库，存储于其中的数据或信息，具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征。基于这些特征，区块链技术奠定了坚实的“信任“基础，创造了可靠的“合作”机制，具有广阔的运用前景。