- 博客(108)
- 收藏
- 关注
RSS订阅原创 大数据数仓实战项目（离线数仓+实时数仓）1
本课程采用由浅入深,层层递进的讲解方式, 让你轻松掌握企业级数仓架构的搭建及使用, 使用该架构可以胜任企业级实时数仓和离线数仓构建。
2025-02-01 08:52:28
554
原创 大数据Hadoop入门3
只要将1.txt文件放在t_1文件夹下，就能映射成功了。在这个文件夹中写一个1.txt文件。先创建一个hivedata文件夹。下面使用beeline创建一张表。下面是第一种方法，直接put进去。下面我们随机创建文件尝试一下。
2025-01-28 18:23:20
365
原创 华为数据之道-读书笔记
数据孤岛:IT系统中的数据语言不统一，不同I系统之间的数据不贯通，同样的数据需要在不同TT系统中重复录入，甚至不同I系统中的同一个数据不一致等。这些问题限制了运营效率的提升和效益的改进，华为迫切需要数字化转型来改变这种状况。
2025-01-23 15:30:47
937
原创 Tableau数据可视化与仪表盘搭建-基础图表制作
按住ctrl再拖“预测”，就会出现那个添加预测的小框，也可以直接双击“预测”去添加预测。上面的是把每年的同一个月合计显示成当月数据了，所以不连续。不用担心跨表的运行，tableau会帮我们自动算好。这里会出现+，点击+，就会自动进行向下的下钻。上图中的图形可以进行条形图与柱状图的转换。下面的是每年的月份都是独立显示且日期连续。我们可以计算一下每天的cpc和GMV之比。将GMV复制到标签上，可以显示GMV。数值的话，有一个可以拖拽的区域。我们可以将默认的单位改成 天。上面这个月是一个离散的标签的月。
2025-01-06 01:38:50
754
原创 Tableau数据可视化与仪表盘搭建-数据可视化原理
点击左下角的工作表tableau可以自动区分数据类型线上面的都是维度线下面的都是度量https://zhuanlan.zhihu.com/p/33658418这里就是智能展示，一般不用作图主要讲字段拖拽到行列列就是横轴行就是纵轴标记可以对我们的图表类型做出修改筛选器对字段进行一个筛选111111111111111111111111111111122222222222222222222222222222222233333333333333333333333333333333444444444444444444
2025-01-05 19:36:33
642
原创 Tableau数据可视化与仪表盘搭建-数据连接
连接数据有三种类型第一种，连接到本地文件，例如Excel，csv，JSON等第二种，连接到数据库，例如MySQL注意：连接到数据库要安装对应的数据库的驱动的。
2025-01-05 00:01:01
408
原创 Tableau数据可视化与仪表盘搭建-安装教程
滚动到最下方的下载在下载的同时我们点击登录，去注册一个tableau的账号下面点击我们下载好的tableau安装程序不要自定义安装，会有路径问题点击试用14天点击激活。
2025-01-04 23:30:47
261
原创 Tableau数据可视化与仪表盘搭建-Tableau介绍
数据赋能就是将我们的数据看板发布到我们的线上去这里的IP地址是业务部门可以通过账号密码登入的我们也可以根据需要下载，选中并点击下载即可下载下来之后，自己就能根据数据进行自定义的分析也可以下载图片还有订阅功能数据更新后，根据设置将数据发送到邮箱还有通知功能选中一个数轴，当我们这个数轴上的值高于或者低于某个阈值的时候就会发送数据，就是数据预警还有编辑功能可以让有权限的业务，自己去编辑这个功能点击编辑后，就会进入编辑界面可以切换到某一个具体的工作表可以添加新的字段，然后保存。
2024-12-10 23:19:20
690
原创 数据分析-Excel基础操作
双击工作表进行重命名备份完成后，可以右击选择隐藏使用任何数据都要养成备份的习惯如何要取消隐藏，随意右击任何一个工作表，点击取消隐藏。
2024-11-13 14:01:34
744
原创 docker安装Milvus
将上面网址的内容粘贴到server_config.yaml文件中。直接创建一个server_config.yml。拉去CPU版本的milvus镜像。下面我们就要启动mlivus。
2024-03-18 18:41:41
1392
原创 PyTorch深度学习快速入门
显示false是因为cuda下错版本了，要与自己的电脑对应起来。conda9.2以上要确保我们的驱动版本大于396.26。n表示name的意思，pytorch就是这个环境的名字。因为我们之后在不同的项目、代码需要的环境是不一样的。我们要先查询一下自己的驱动版本nvidia-smi。有的代码需要pytorch0.4、有的需要1.0。在命令行窗口看见base就是安装成功。但其中没有我们需要的pytorch。我们要检查显卡的驱动是否正确安装。python=3表示要安装的包。左边括号里面的就是环境的名称。
2024-02-29 19:19:12
824
1
原创 深度学习基础
映射到样本标记空间的作用。到隐藏层2后，我们认为这里作为特征已经足够了，当前我们就使用隐藏层2最终得到的特征得到一个输出结果，我们看一下得到预测结果最终等于多少。深度学习就是去学什么样的特征是最合适的，有了特征之后，我们可以加其他东西，比如加LR（逻辑回归）做分类，或者传到SVM中…跟我们的分类任务还是有点差距，分类任务要得到的我们属于猫这个类的一个概率值。我们的神经网络就是做一个任务，什么样的W适合当前的任务，我就去改变这个W。输入一个数据，得到一个得分值，得分值做一个exp映射，使其更加明显一些。
2024-02-28 11:43:56
1511
原创 第四章 Day4
第四章 Day41.今日内容2.自媒体文章审核流程说明3.阿里云接口-概述4.阿里云接口-项目中集成5.分布式主键策略-雪花算法1.今日内容2.自媒体文章审核流程说明3.阿里云接口-概述4.阿里云接口-项目中集成5.分布式主键策略-雪花算法
2024-02-26 21:02:52
384
原创 第一章 Day1
下面我们固定虚拟机的ip地址修改子网ip，点击应用，再点击确定连接虚拟机docker logs -f 用来查看日记关于mybatis-plus，数据库的配置，在nacos中配置导包添加配置类路径放到下面使其生效添加swagger注解，api。
2024-02-25 23:47:12
385
原创 第五章 项目优化
先创建一个本地的仓库上面的代码是基础部分下面我们进行优化的时候我们可以创建一个新的分支下面我们将V1.0这个分支也给推送上去下面我们对缓存的开发就在V1.0这个分支上进行如果我们在1.0上面开发没有问题，我们就将其合并到我们的主分支即master分支如果报错就执行下面的命令如果我们执行insert操作就会走master库如果我们执行select操作就会走slave库。
2024-02-24 23:25:22
815
原创 模型的收敛
当模型收敛时，损失函数不再显著减小，模型的性能在训练数据和验证数据上达到一个相对稳定的状态。过度拟合是另一个需要考虑的因素，即模型在训练数据上表现得很好，但在未见过的数据上表现较差。模型的收敛是指在训练过程中模型逐渐学习到数据的模式和特征，参数的调整逐渐趋于稳定的过程。在神经网络的训练中，模型的收敛通常伴随着损失函数的逐渐减小和性能的提高。在深度学习中，训练一个模型涉及到通过反向传播算法不断调整模型的权重，以最小化损失函数。模型的收敛取决于多个因素，包括学习率、数据质量、模型架构等。
2024-01-24 10:49:03
1860
1
原创 transformer详解
一个典型的编码器-解码器的结构，类似于sequence-to-sequence这6（可以自己定）个encode，decode在结构上是完全相同的，但是参数不是完全相同的训练的时候，不是训练了一个encode，然后copy 6次，而是6个encode多在训练。
2024-01-24 00:38:20
949
原创 残差连接是什么意思
在残差连接中，X 通常被称为“残差”或“跳跃连接”，因为它是从输入直接跳到输出的。这样的设计使得网络的每一层都能够学习残差，而不是必须从零开始学习整个映射。这有助于缓解训练深层网络时的梯度消失问题，同时提高了网络的收敛速度。它的核心思想是通过将网络的输入直接传递到网络的输出，从而构建了一条直达路径，使得梯度更容易通过整个网络传播。这有助于在训练深层网络时避免梯度消失或梯度爆炸的问题。残差连接最早由何凯明等人在2016年的论文中提出，并被成功地应用于深度残差网络（ResNet）中。
2024-01-23 20:14:17
1309
原创 梯度消失是什么意思
在数学和计算机科学中，梯度是一个向量，表示函数在某一点处的变化率和变化的方向。梯度是多变量函数的偏导数组成的向量。在机器学习中，梯度也被称为损失函数对模型参数的偏导数。当我们训练一个模型时，通过梯度下降法或其变种，我们尝试最小化损失函数。梯度指示了在当前参数值下，损失函数增加最快的方向，因此我们沿着梯度的负方向更新参数，以逐步减小损失函数的值。形象地说，梯度是一个指向最快上升的方向。通过在梯度的反方向上移动，我们可以寻找损失函数的局部最小值，这是优化过程的核心思想。
2024-01-23 20:10:49
640
空空如也
深度学习的loss图和accuracy图有问题吗
2024-03-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人