- 博客(17)
- 收藏
- 关注
RSS订阅原创 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor
在B站大学学习尚硅谷的HBase的时候，之前配好的Hive突然用不了了，经过一天的排查发现是jar包冲突，在网上没找到相关解决方案，就此记录。在Hbase要连接mapreduce的时候需要在hadoop-env.sh中配置如下Jar包：export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*这个用人家的hadoop2.7版本和hbase1.3版本没有任何问题但是我在使用hadoop3.1.3版本和hbase1.3版本的时候出
2022-01-11 19:10:31
1173
原创 hadoop ha模式下的flume配置（并非flume ha）
hadoop ha模式下的flume配置 在学习flume的时候由于已经配置了Hadoop的ha模式，导致flume在sink的时候找不到namenode地址，无法存储信息的问题已解决，特此记录第一步将hadoop集群中/hadoop根目录/etc/hadoop/hdfs-site.xml和core-site.xml复制到flume根目录/conf下第二步查看自己ha配置集群名称，即core-site.xml中的fs.defaultFS改变flume配置文件 *.
2021-12-28 17:15:05
1039
原创 序列生成模型
序列生成模型15.1 序列概率模型15.2 N 元统计模型15.3 深度序列模型15.4 评价方法15.5 序列生成模型中的学习问题15.5.1 曝光偏差问题15.5.2 训练目标不一致问题15.5.3 计算效率问题15.6 序列到序列模型15.6.1 基于循环神经网络的序列到序列模型15.6.2 基于注意力的序列到序列模型15.6.3 基于自注意力的序列到序列模型 序列数据一般可以通过概率图模型来建模序列中不同变量之间的依赖关系．本章主要介绍在序列数据上经常使用的一种模型：自回归生成模型（ Au-to
2021-07-04 10:32:38
1492
原创 深度强化学习
深度强化学习14.1 强化学习问题14.1.1 强化学习定义14.1.2 马尔可夫决策过程14.1.3 强化学习的目标函数14.1.4 值函数14.1.5 深度强化学习14.2 基于值函数的学习方法14.2.1 动态规划算法14.2.2 蒙特卡罗方法14.2.3 时序差分学习方法14.2.4 深度 Q 网络14.3 基于策略函数的学习方法14.4 演员 - 评论员算法 强化学习（ Reinforcement Learning ， RL ），也叫增强学习，是指一类从（与环境）交互中不断学习的问题以及解决这
2021-07-03 11:05:21
956
原创 深度生成模型
深度生成模型13.1 概率生成模型13.2 变分自编码器13.3 生成对抗网络 概率生成模型（ Probabilistic Generative Model ），简称生成模型，是概率统计和机器学习领域的一类重要模型，指一系列用于随机生成可观测数据的模型．生成模型通常包含两个基本功能：概率密度估计和生成样本（即采样）. 深度生成模型就是利用深度神经网络可以近似任意函数的能力来建模一个复杂分布 pr (x) 或直接生成符合分布pr (x) 的样本．13.1 概率生成模型 如果要建模含隐变量的分布
2021-07-02 09:38:20
1624
原创 深度信念网络
深度信念网络12.1 玻尔兹曼机12.2 受限玻尔兹曼机12.3 深度信念网络 本章介绍一种可以有效学习变量之间复杂依赖关系的概率图模型（深度信念网络）以及两种相关的基础模型（玻尔兹曼机和受限玻尔兹曼机）．12.1 玻尔兹曼机 玻尔兹曼机（ Boltzmann Machine ）是一个随机动力系统（ Stochastic Dy-namical System ），每个变量的状态都以一定的概率受到其他变量的影响． 在玻尔兹曼机中，配分函数 Z 通常难以计算，因此，联合概率分布 p(x) 一般
2021-07-01 21:06:17
481
原创 概率图模型
概率图模型11.1 模型表示11.1.1 有向图模型11.1.2 无向图模型11.2 学习11.3 推断11.3.1 精确推断11.3.1 近似推断 概率图模型（ Probabilistic Graphical Model ， PGM ），简称图模型（ Graph-ical Model ， GM ），是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型，从而给研究高维空间中的概率模型带来了很大的便捷性．图模型有三个基本问题：表示问题：对于一个概率模型，如何通过图结构来描述变量之间的依赖关系
2021-06-30 16:20:41
841
原创 模型独立的学习方式
模型独立的学习方式10.1 集成学习10.2 自训练和协同训练10.3 多任务学习10.4 迁移学习10.5 终身学习10.6 元学习10.1 集成学习 集成学习（ Ensemble Learning ）就是通过某种策略将多个模型集成起来，通过群体决策来提高决策准确率． 一个有效的集成需要各个基模型的差异尽可能大．为了增加模型之间的差异性，可以采取 Bagging 和 Boosting 这两类方法．Bagging 类方法：Bagging 类方法是通过随机构造训练样本、随机选择特征等方法来提高每个
2021-06-28 12:27:09
318
原创 无监督学习
无监督学习9.1 无监督特征学习9.2 概率密度估计 无监督学习（ Unsupervised Learning ， UL ）是指从无标签的数据中学习出一些有用的模式．无监督学习算法一般直接从原始数据中学习，不借助于任何人工给出标签或者反馈等指导信息．典型的无监督学习问题可以分为以下几类：无监督特征学习（ Unsupervised Feature Learning ）是从无标签的训练数据中挖掘有效的特征或表示．无监督特征学习一般用来进行降维、数据可视化或监督学习前期的数据预处理．概率密度估计（ P
2021-06-28 09:07:34
3172
原创 注意力机制与外部记忆
注意力机制与外部记忆8.1 认知神经学中的注意力8.2 注意力机制8.3 自注意力模型8.4 人脑中的记忆8.5 记忆增强神经网络8.6 基于神经动力学的联想记忆 我们可以借鉴人脑解决信息过载的机制，从两方面来提高神经网络处理信息的能力．一方面是注意力，通过自上而下的信息选择机制来过滤掉大量的无关信息；另一方面是引入额外的外部记忆，优化神经网络的记忆结构来提高神经网络存储信息的容量．8.1 认知神经学中的注意力 人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信息来重点处理，并忽略其他信息
2021-06-27 19:05:41
474
原创 网络优化与正则化
网络优化与正则化7.1 网络优化7.2 优化算法7.3 参数初始化7.4 数据预处理7.5 逐层归一化7.6 超参数优化7.7 网络正则化 虽然神经网络具有非常强的表达能力，但是当应用神经网络模型到机器学习时依然存在一些难点问题．主要分为两大类：优化问题泛化问题7.1 网络优化 网络优化是指寻找一个神经网络模型来使得经验（或结构）风险最小化的过程，包括模型选择以及参数学习等． 由于网络结构的多样性，我们很难找到一种通用的优化方法．不同优化方法在不同网络结构上的表现也有比较大的差异．
2021-06-21 17:23:21
467
原创 循环神经网络
循环神经网络6.1 给网络增加记忆能力6.2 简单循环网络6.3 应用到机器学习6.4 参数学习6.5 长程依赖问题6.6 基于门控的循环神经网络6.6.1 长短期记忆网络6.6.2 门控循环单元网络6.7 深层循环神经网络6.8 扩展到图结构 循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络．在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构．6.1 给网络增加记忆能力 为了处理这些时序数据并
2021-06-20 17:40:41
1116
原创 卷积神经网络
卷积神经网络5.1 卷积5.2 卷积神经网络5.2.1 卷积层5.2.2 汇聚层5.2.3 卷积网络的整体结构5.3 几种典型的卷积神经网络5.3.1 LeNet-55.3.2 AlexNet5.3.3 Inception 网络5.3.4 残差网络5.4 其他卷积方式5.4.1 转置卷积5.4.2 空洞卷积 卷积神经网络（ Convolutional Neural Network ， CNN 或 ConvNet ）是一种具有局部连接、权重共享等特性的深层前馈神经网络． 目前的卷积神经网络一般是由卷积
2021-06-14 10:45:14
788
1
原创 前馈神经网络
前馈神经网络4.1 神经元4.1.1 Sigmoid 型函数4.1.2 ReLU 函数4.1.3 Swish 函数4.1.4 GELU 函数4.1.4 Maxout 单元4.2 网络结构4.3 前馈神经网络4.4 反向传播算法4.5 自动梯度计算4.6 优化问题4.1 神经元 人工神经元（ Artificial Neuron ），简称神经元（ Neuron ），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出．图 4.1 给出了一个典型的神经元结构示例．
2021-06-11 14:21:48
654
1
原创 线性模型概述
线性模型3.1 线性判别函数和决策边界3.2 Logistic 回归3.3 Softmax 回归3.4 感知器3.4.1 感知器的收敛性3.4.2 参数平均感知器3.5 支持向量机 线性模型（ Linear Model ）是机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型．在分类问题中，由于输出目标 yyy 是一些离散的标签，而 f(x;w)f(x;w)f(x;w) 的值域为实数，因此无法直接用 f(x;w)f(x;w)f(x;w) 来进行预测要引入一个非线性的决策函数（ Decis
2021-06-10 15:37:01
2526
原创 机器学习概述
机器学习概述2.1 基本概念2.2 机器学习的三要素2.2.1 模型2.2.2 学习准则2.2.3 优化算法2.3 机器学习的简单示例——线性回归2.4 偏差 - 方差分解2.5 机器学习算法的类型2.6 数据的特征表示2.6.1 传统的特征学习2.6.2 深度学习方法2.7 评价指标2.8 理论和定理 机器学习（ Machine Learning ， ML ）就是让计算机从数据中进行自动学习，得到某种知识（或规律）．机器学习也经常称为模式识别（ Pattern Recognition ，PR ）.2
2021-06-08 16:33:29
305
原创 nndl绪论
nndl绪论人工智能人工智能发展史人工智能流派机器学习表示学习深度学习神经网络人脑神经网络人工神经网络神经网络发展历史人工智能 智能：可以理解为“智力”和“能力”。前者是智能的基础，后者是指获取和运用知识求解的能力. 人工智能的定义：人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样. 图灵测试：一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的.人工智能的主要领域大
2021-06-07 12:10:28
294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人