无敌的男人

qqq,1=
前景
深度学习是一种基于人工神经网络的机器学习算法，
能够模拟人类神经系统的功能，从而实现各种复杂的任务。
随着大数据和计算能力的增长，深度学习在计算机视觉、
自然语言处理、语音识别等领域都取得了重大进展，其未来有非常广阔的发展前景。

qqq,2=
最新技术
自注意力机制（Self-Attention Mechanism）：自注意力机制使得神经网络能够在无需先验知识的情况下进行特征提取，从而实现更高效和更准确的学习。
图像合成技术（Image Synthesis Techniques）：图像合成技术利用生成对抗网络（GAN）和变分自编码器（VAE）等方法，可以生成高质量、逼真的图像，应用场景包括图像编辑、虚拟现实和娱乐等领域。
神经网络压缩（Neural Network Compression）：神经网络压缩可以减少深度学习模型的大小和计算量，从而提高模型的效率和可移植性，应用场景包括移动设备、边缘计算等。
自监督学习（Self-Supervised Learning）：自监督学习方法利用标记数据的潜在结构，学习到更全面、更强大的特征表示，相比有监督学习方法减少了对标注数据的依赖。
联邦学习（Federated Learning）：联邦学习是一种去中心化、隐私保护的学习方法，可以在不共享数据的情况下合作学习，应用场景包括医疗、金融、工业等领域。

qqq,3=
研究热点
人工智能的研究热点包括计算机视觉、自然语言处理、深度学习、机器人技术、语音识别、机器人操作系统等。

qqq,4=
国际发展形势
人工智能的现状和发展呈现如下特点：
多种途径齐头并进，多种方法写作互补；新思想、新技术不断涌现，新领域、新方向不断开括；理论研究更加深入，应用研究更加广泛；研究队伍日益壮大，社会影响越来越大；
以上特点展现了人工智能学科的繁荣景象和光明前景。它表明，虽然在通向其最终目标的道路上，还有不少困难、问题和挑战，但前进和发展毕竟是大势所趋。在过去几十年里，
人工智能在国际领域的发展取得了巨大的进步。许多国家开始将人工智能作为一项核心研发项目，并实施相关的研发政策，以推动AI的发展。此外，国际上也出现了许多AI技术的竞争，以及全球范围内的AI产业合作。

qqq,5=
国内形势
目前，人工智能与RPA 的结合，能够更好的处理大容量和可重复性的基本操作，更好的使这些任务从人们的手中转移机器人手中。
让任务得到更好的处理，减少劳动力的成本，提高工作效益，同时加快完成流水线的工作速度。
通过操作人工智能机器人统一管理，从一定程度上降低了人成本，提高效率。
人工智能拥有极高的关联性，人工智能的发展不是凭空想象，而是以现实的需求作为目标，专注的完成传统产业的痛点和缺点。
从客观的角度来说，人工智能可以减少劳动力的成本，提高工作效益，以高效益、低成本的方式促进企业的发展。
我国非常重视人工智能的发展，从《新一代人工智能发展规划》建议 “到2030年，中国成为世界领先的人工智能创新中心”当中，
我们可以看出我国对人工智能发展的重视。到目前为止，我国人工智能发展在不断扩大，不断创新。
人工智能应用领域广泛，目前所应用最广泛的是医疗、工业、生活、家居当中。人工智能的出现给人类生活带来了很多便利。
此外， 人工智能在我国促进经济发展当中占领了重要地位，预计未来我国将持续发展，创新人工人能，让其在更多领域上起到相对应的价值。

www,1=
自注意力机制步骤：
1.计算查询矩阵和键矩阵之间的点积（Q点乘K的T次方），并得到相似度分数；
2.将查询矩阵和键矩阵之间的点积（）除以键向量维度的平方根（根号下dk）;
3.应用softmax函数将分值归一化，得到分数矩阵 [softmax（点积除以根号下dk）]
4.将分数矩阵与值矩阵V相乘，计算出注意力矩阵Z。

www,2=
缩放点积注意力
缩放点积注意力是一种常用的注意力机制，在自然语言处理中被广泛应用。
它是通过计算查询向量与键向量之间的点积来衡量它们之间的相关性，
并使用softmax函数将这些分数转化为概率分布。然而，与标准点积注意力不同的是，缩放点积注意力对于点积的结果进行缩放，
以便更好地应对不同维度的向量之间的数值范围不同的问题。具体来说，缩放点积注意力通过将点积除以一个被称为“缩放因子”的数值来实现缩放。这个因子是查询向量和键向量的维度的平方根。
这种缩放后的注意力机制可以更好地处理高维向量之间的相关性，避免了由于维度不同而导致的数值不稳定和不可靠的问题。

eee,1=
三种
1.RNN（Recurrent Neural Network）是一种递归神经网络，能够处理序列数据，如时间序列数据、自然语言文本等。
RNN通过将前面的信息传递到后面，使得网络可以记忆之前的信息，从而更好地理解当前的输入。但是，传统的RNN存在着梯度消失和梯度爆炸等问题，导致长序列的信息传递效果很差。
2.LSTM（Long Short-Term Memory）是一种特殊的RNN，通过门控机制，可以有效地解决梯度消失和梯度爆炸等问题。
LSTM通过门控机制可以控制信息的流动，从而更好地保存和利用之前的信息。LSTM的门控机制包括遗忘门、输入门和输出门。
3.GRU（Gated Recurrent Unit）也是一种特殊的RNN，与LSTM类似，也是通过门控机制来控制信息的流动。
GRU与LSTM的主要区别在于它只有两个门控制器：更新门和重置门。GRU相对于LSTM来说，参数更少，计算速度更快，在一些任务上取得了更好的效果。

rrr,1=
GAN思想
对抗生成网络(GAN)的基本思想是：通过让两个神经网络互相博弈的方式进行学习。
这两个网络分别是生成器和判别器。生成器的目标是生成尽可能逼真的样本，
而判别器的目标则是区分生成器生成的样本和真实数据集中的样本。
GAN的工作原理如下：
1.生成器接收一个随机噪声向量，并输出一张图片或其他类型的数据。
2.判别器接收一张图片并输出一个标量值，表示该图片是否来自真实数据集还是生成器。
3.生成器和判别器相互博弈，生成器试图生成更逼真的图片来欺骗判别器，而判别器则试图区分生成器生成的图片和真实数据集中的图片。
4.生成器和判别器不断地进行训练，直到生成器生成的图片足够逼真，以至于判别器无法再准确地区分真假数据。

rrr,2=
GAN训练
训练过程如下：
1.定义GAN的结构：GAN由两部分组成，一个是生成器（Generator），另一个是判别器（Discriminator）。
生成器用于生成虚假的数据，判别器则用于区分真实数据和生成器生成的虚假数据。
2.定义损失函数：GAN使用的损失函数是最小二乘损失函数或交叉熵损失函数。在最小二乘损失函数中，
生成器和判别器都有自己的损失函数，通过优化两个损失函数达到平衡生成器和判别器的效果。
在交叉熵损失函数中，将生成器生成的数据和真实数据输入判别器中，计算判别器输出结果与标签之间的交叉熵损失函数，
再将损失反向传播给生成器，使得生成器能够不断地生成更接近真实数据的数据。
3.训练GAN：首先，生成器随机生成一批数据，并将这些数据输入判别器中进行判断。判别器会将这些数据归类为真实数据或虚假数据，
并计算出损失函数。接下来，根据判别器的结果，生成器会生成一批新的数据，并将这些数据再次输入判别器中进行判断。
这个过程会不断重复，直到生成器能够生成接近真实数据的数据，并且判别器无法区分哪些数据是真实数据，哪些是生成器生成的虚假数据。
4.评估GAN：为了评估GAN的性能，需要使用一组真实数据和一组生成器生成的虚假数据，然后将这些数据输入到判别器中进行分类。
如果判别器无法区分哪些数据是真实数据，哪些是生成器生成的虚假数据，那么就说明GAN的训练成功了。

ttt,1=
词嵌入
是指把一个维数是所有词的数量的高维空间嵌入到一个维数低得多的连续向
量空间中，每个单词或词组是映射到实数域上的向量。

yyy,1=
Transformer的解码器由self-attention，encoder-decoder attention以及FFNN组成。

yyy,2=
Transformer是一种用于序列建模的深度学习模型，最初由Google在2017年提出，并被广泛用于自然语言处理领域。
它的主要特点是采用了自注意力机制（self-attention mechanism）来计算输入序列中所有位置之间的依赖关系，从而对整个序列进行建模。

ooo,1=
梯度消失
是指在反向传播过程中，某些神经元的梯度接近于零或者变得非常小，导致这些参数没有更新。

ooo,2=
解决梯度消失的办法：
1.使用激活函数
2.使用批归一化；
3.使用残差连接；
4.使用稀疏连接。

ppp,1=
GRU（Gated Recurrent Unit）是一种常用于序列建模的循环神经网络（RNN）模型，由于其简单而高效的结构，被广泛应用于自然语言处理、语音识别、图像处理等领域。

aaa,1=
生成器：
从随机噪声中生成图像（随机噪声通常从均匀分布或高斯分布中获取）
判别器：
其输入为生成器生成的图像和来自训练集中的真实图像，并对其进行判别。
得到输出值为一个0到1之间的数，表示图像为真实图像的概率，real为1，fake为0。

sss,1=
import tensorflow as tf
from tensorflow.keras import datasets, layers, models

# 加载CIFAR-100数据集
(train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data()

# 归一化像素值
train_images, test_images = train_images / 255.0, test_images / 255.0

# 构建卷积神经网络模型
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(100))

# 编译模型
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

# 在训练数据集上训练模型
history = model.fit(train_images, train_labels, epochs=10, 
                    validation_data=(test_images, test_labels))

# 在测试数据集上评估模型
test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)
print(test_acc)

ddd,1=
from  sklearn.datasets import load_files
corpus = load_files('News', encoding='utf-8')
corpus_data = corpus.data
corpus_label = corpus.target
corpus_name = corpus.target_names
#完成数据的预处理，包括保留中文字符，分词，去出停用词
import re
import jieba
def data_processing(data):
    data_list = []
    for line in data:
        # 通过正则表达式去除西文字体，保留中文
        rule = re.compile(r"[^\u4e00-\u9fa5]")
        line = rule.sub(" ",line)
        line = line.replace(' ','').strip('\n')#将文本中的空格去除
        line = jieba.cut(line,cut_all=False) 
        # print(" ".join(line)
        # 清除停用词
        words_list = []
        # 加载停用词表
        stop_word_list = [line.rstrip('\n') for line in open(r"stop_words_ch.txt",
                         'r',encoding='utf-8')]
        for i in line:
                if i not in stop_word_list:
                    words_list.append(i)

        line = ' '.join(words_list)
        data_list.append(line)
    sequence = []
    for line in data_list:
        term = list(line.split(' '))
        sequence.append(term)
    return sequence
sequence = data_processing(corpus_data)
sequence

ddd,2=
from gensim.models import Word2Vec
sentences = [["cat", "say", "meow"], ["dog", "say", "woof"]]
model = Word2Vec(sentences, min_count=1)
# 模型的保存与加载
model.save("word2vec.model")
model = Word2Vec.load("word2vec.model")
model.train([["hello", "world"]], total_examples=1, epochs=1)

def train_vector(sequence):
    begin_time = time.time()
    model = gensim.models.Word2Vec(sequence, vector_size=300, window=5, min_count=5,  sg=1)
    model.save('mymodel123')
    model.wv.save_word2vec_format('chinese123.vector.bin', binary=True)  
    model.wv.save_word2vec_format('chinese123.vector.txt', binary=False)
    end_time = time.time()
    print("user time: %d s" % (end_time-begin_time))

corpus = [['中华','人民','共和国'],['六盘水','师范','学院']]
model = gensim.models.word2vec.Word2Vec.load('mymodel.model')
model.build_vocab(corpus, update=True)
model.train(corpus,total_examples=model.corpus_count, epochs=10)

# 查看其中一个词的向量
model.wv[‘中国’]
#获取两个词的相似度
model.wv.similarity(‘中华’,‘中国’)