- 博客(306)
- 收藏
- 关注
RSS订阅原创 还不懂大数据和算法？这份BAT大厂大数据、算法落地项目实战PDF你一定要看看(1)
滴滴出行作为移动出行领域的一家领先的移动互联网企业，也正积极布局和利用智能语音交互相关技术，如语音识别、语音对话理解、语音合成等,以便更好的为司机和乘客提供高质量服务，具体地，包含有司机智能助手和滴滴智能客服系统等应用产品。从底层的机器监控到直面用户的应用，都离不开时序性的业务场景，而时序性的数据一般都由专业的时序数据库来存储分析，下面主要介绍TSDB覆盖的业务场景以及面临的挑战。智能客服是一种使用自然语言与用户交互的人工智能系统，通过分析用户意图,以人性化的方式与用户沟通，向用户提供客户服务。
2024-05-16 12:52:38
458
原创 软考加密类型题(7个历年类型题【答案在底部】选择题1分必得)_对称加密算法题目(5)
首先，我们必须好分得清各种加密都是属于那类的：对于下表中的头部注释一定好记住，**对称秘钥算法也叫：**私钥、私有秘钥、共享秘钥。**非对称秘钥算法也叫：**公钥、公开秘钥、数字签名。考试的时候都是拐弯着出名字。
2024-05-16 12:51:32
433
原创 软考加密类型题(7个历年类型题【答案在底部】选择题1分必得)_对称加密算法题目(4)
*对称秘钥算法也叫：**私钥、私有秘钥、共享秘钥。**非对称秘钥算法也叫：**公钥、公开秘钥、数字签名。考试的时候都是拐弯着出名字。
2024-05-16 12:51:00
440
原创 最新开局掉马，逃荒前我还在学Spark(2)，大数据开发开发实战
Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。1）HDFS（分布式文件系统）：HDFS是整个hadoop体系的基础，它是Hadoop生态系统中的核心项目之一，是分布式计算中数据存储管理基础。2）MapReduce（分布式计算框架）：是一种基于磁盘的分布式并行批处理计算模型，用于大规模数据集（大于1TB)的并行运算。
2024-05-16 09:10:23
378
原创 最新开发者，云原生数据库是未来吗？_云原生数据库没有前景 ，2024年最新从思维图到基础再到深入
云原生（Cloud Native）是一种构建和运行应用程序的方法，是一套技术体系和方法论。Cloud为云平台，Native表示应用程序从设计即考虑到云的环境，原生应用在云上以最佳姿势运行，充分利用和发挥云平台的弹性+分布式优势。随着时代和技术的发展，不断演化，容器技术、微服务、可持续交付、DevOps，构成云原生的四个要点。云原生数据库，是一种通过云平台构建、部署和分发的数据库服务。它以 PaaS 的形式进行分发，相比于传统数据库，云原生数据库提供了更好的访问性和可伸缩性。
2024-05-16 09:09:50
330
原创 最新带你吃透Servlet技术（一）(1)，BAT大厂大数据开发面试真题锦集干货整理
【代码】最新带你吃透Servlet技术（一）(1)，BAT大厂大数据开发面试真题锦集干货整理。
2024-05-16 09:08:43
299
原创 最全DirectX12（D3D12）基础教程（十二），大数据开发最新面试题及答案
上一章中最后一个水彩画效果是有问题的，这一讲我们特意修正这个错误。其实错误主要是因为真正的水彩画效果还需要一个后处理——高斯模糊。这一章主要的任务就是修正这个错误。同时这一章中将结合使用酷炫的多线程+多显卡渲染框架。为了能更好的理解本章教程示例，请各位最好已经仔细阅读了之前关于多线程渲染、多显卡渲染，以及Shader原始特效的章节文章及示例代码。在本章中，多线程渲染依旧是用来录制渲染三个不同物体的命令列表。而多显卡渲染则主要用主显卡来渲染3D场景到纹理，而辅助显卡（核显）用来做后处理。
2024-05-16 01:21:28
284
原创 最全DirectX12（D3D12）基础教程（十七）(5)，大数据开发网络通信面试题
其次，在D3D12中就不能再简单的通过定义与shader中对应的顶点结构的方式来组织和上传数据到GPU了，具体的只需要按照D3D12_INPUT_ELEMENT_DESC结构体的要求，结合数据自身的结构特点定义具体的数据上传布局。其定义中InputSlot即是指定当前记录使用哪个插槽（Slot）来传输数据（理解为通道更恰当一些）。// 定义传入管线的数据结构，这里使用了多Slot方式，注意Slot的用法。
2024-05-16 01:20:55
246
原创 最全DirectX12（D3D12）基础教程（十七）(2)，零基础大数据开发
/ 第一次 Copy！// 估计会有那么一天，这个Copy动作可能被简单替换为CPU物理地址映射的变更，传说Vulkan中已经大致是这样了。// 估计会有那么一天，这个Copy动作可能被简单替换为CPU物理地址映射的变更，传说Vulkan中已经大致是这样了。// 估计会有那么一天，这个Copy动作可能被简单替换为CPU物理地址映射的变更，传说Vulkan中已经大致是这样了。// 估计会有那么一天，这个Copy动作可能被简单替换为CPU物理地址映射的变更，传说Vulkan中已经大致是这样了。
2024-05-16 01:20:22
358
原创 最全DC-UNet：重新思考UNet架构和双通道高效CNN医学图像_unet改进，2024年大数据开发开发者常见面试题
经典UNet的体系架构在某些方面存在着局限性。因此本文对其结构提出了改进。1)设计高效的CNN架构来取代编码器和解码器;2)在最先进的U-Net模型的基础上，应用残差模块来取代编码器和解码器之间的跳过连接来进行改进。医学图像分割是通过一些自动和半自动的方法来最小化感兴趣区域。。有许多传统的算法被设计来分割组织或身体器官。这些方法可以分为:基于区域的聚类、基于边缘的聚类、基于阈值的聚类和基于特征的聚类。本文提出了一种双通道UNet模型-DC-UNet。
2024-05-16 01:19:49
269
原创 大数据最全深度学习与神经网络之开宗明义 详解人工智能(2)，2024年最新文末领取面试资料
在人工智能的各个子领域中，由于其解决的问题各不相同，所以对应的目标和使用的工具并不完全相同。在传统意义上来说，人工智能研究的目标包括感知智能、认知智能、行为智能。人工智能自成立以来尝试并放弃了许多不同的方法，包括模拟人类大脑、模拟人类解决问题、形式逻辑、大型知识数据库和模仿动物行为。(小爱、小度、Siri)、智能驾驶系统(特斯拉)、量化交易系统、自动下棋系统(AlphaGo)等能够自动形成决策或者行动的系统。在该领域占据了主导地位，事实证明还是比较成功的，帮助整个工业界和学术界解决了许多具有挑战性的问题。
2024-05-15 16:34:44
350
原创 大数据最全深度体验学习国产API工具Eolink_eolink 请求无响应(2)，武汉软通动力大数据开发面试
其中包括API状态，便于其他人员查看当前API处于开发的哪个阶段，API Path便是API的路径还有请求方式（GET/POST），还有就是分组和API名称，这些都按照我们的需求自己设置就可以了。设置的包括字段名，其中status和points都是字段名，也可以为字段名设置数据类型，后面的“success”和100就是我们模拟（mock）的数据。这里就需要我们配置环境，在你mock数据之后就要保存，保存完成在文档那里就会出现两个链接，我们可以直接通过下面的两个链接访问到我们的数据。但是开始设置会报错的。
2024-05-15 16:34:10
383
原创 大数据最全每天一道大厂SQL题【Day05】活跃用户统计_求用户活跃数的题目，2024年最新附详细答案
你终于喊我双排了 让我拿我胜率最高的英雄 我一般都不玩嬴政的 因为胜率太高了怕掉 可是为了你我还是选了 你好像很开心给我发了句fw，我懂了 你是想夸夸我说我法王 你真好 我越来越喜欢你了！
2024-05-15 16:33:38
332
原创 大数据最全机器学习算法（2）—— 线性回归算法(1)，2024年最新一次违反常规的大数据开发大厂面试经历
数据集介绍（1）线性回归:正规方程：是否计算偏置：回归系数（y=kx+b中的 k）：偏置（y=kx+b中的 b）回归模型评估'''获取数据集''''''划分数据集''''''特征工程：数据标准化''''''机器学习：线性回归（正规方程）''''''模型评估'''print("预测值为：", y_predict)print("系数值为：", estimator.coef_)print("偏置值为：", estimator.intercept_)
2024-05-15 16:33:05
343
原创 大数据最全Tomcat安装使用与部署Web项目的三种方法_tomcat部署web项目，2024年最新大数据开发基础视频教程
点击链接后跟着图示下载对应压缩包即可，建议下载到。
2024-05-15 13:48:13
822
原创 大数据最全Tomcat安装使用与部署Web项目的三种方法_tomcat部署web项目(2)，大数据开发架构组件Room功能详解
这也是建议下载到副盘根目录的原因，解压完成的界面如图所示。点击链接后跟着图示下载对应压缩包即可，建议下载到。
2024-05-15 13:47:40
729
原创 大数据最全StarRocks数据导入，2024年冲刺年薪40w
为了友好的解决多表同步时的问题，StarRocks发布了StarRocks-migrate-tools（简称smt）工具，来快捷生成StarRocks表结构和Flink-SQL映射表及同步语句。还使用MySQL 中的s_user表和StarRocks的s_user表，将业务流程反转一下，读取StarRocks中的数据写入其他业务库，例如MySQL。在CDC场景下，Flink SQL执行后同步任务将会持续进行，当MySQL中数据出现变化，Flink会快速感知，并将变化同步至StarRocks中。
2024-05-15 13:47:07
1108
1
原创 大数据最全Spark技术02直播笔记，三幅图给你弄懂EventBus核心原理
安装目录是在这个/usr/local/python3,当然你们会发现它是没有python3的，它会自己去创建，你不用管。tgz下载后他是属于一个压缩包之后我们需要对它进行解压，解压完以后就可以进行编译之后安装。pwd 查看 你已经进入到这个文件夹里面了，进来以后我们就需要编译安装这个Python。解压包上会出现这个文件夹，接下来我们需要进入这个文件夹里去编译这个Python。现在我们需要下载到/home/hadoop里面,这里才是配的主路径里面。之后下载python3.7的包，最后一个p是大写P他写错了。
2024-05-15 13:46:33
418
原创 一个初学编程的草根大叔用了一个月时间冲上周榜第二名！给想冲榜的后浪们谈谈小经验——(2)
另外，题图和插图放些美图啥的（稍微加点料，只要不过界就行，你懂的），用官方博客的原话来说就是：既学到了知识，又分泌出了荷尔蒙，焉能不去互动一下？呕心沥血，袒露心声，掏心掏肺”的文章点击率高过8%，而标题起类似“某某语言从入门到精通、某某接口的用法和实例详解、某某语言学习笔记、超详细的某某操作系统常用命令锦集”此类的文章平均点击率小于4%。可见标题是什么很重要，在标题党盛行的时代，在别的平台的作者为一个好标题绞尽脑汁的时代，我们的一些作者仍然存着“酒香不怕巷子深”的想法，颇有些“不知有汉，无论魏晋”的感觉！
2024-05-15 05:15:37
884
原创 一个初学编程的草根大叔用了一个月时间冲上周榜第二名！给想冲榜的后浪们谈谈小经验——(1)
另外，题图和插图放些美图啥的（稍微加点料，只要不过界就行，你懂的），用官方博客的原话来说就是：既学到了知识，又分泌出了荷尔蒙，焉能不去互动一下？呕心沥血，袒露心声，掏心掏肺”的文章点击率高过8%，而标题起类似“某某语言从入门到精通、某某接口的用法和实例详解、某某语言学习笔记、超详细的某某操作系统常用命令锦集”此类的文章平均点击率小于4%。可见标题是什么很重要，在标题党盛行的时代，在别的平台的作者为一个好标题绞尽脑汁的时代，我们的一些作者仍然存着“酒香不怕巷子深”的想法，颇有些“不知有汉，无论魏晋”的感觉！
2024-05-15 05:15:01
683
原创 一个几乎全民都会的算法——二分查找_二分查找是目前新兴的一种流行算法
*解释：**原数组为 [0,1,2,4,5,6,7] ，旋转 4 次得到输入数组。**输入：**nums = [5,7,7,8,8,10], target = 8。**输入：**nums = [5,7,7,8,8,10], target = 6。**解释：**原数组为 [1,2,3,4,5] ，旋转 3 次得到输入数组。**输入：**nums = [4,5,6,7,0,1,2]**输入：**nums = [1,2,1,3,5,6,4]**解释：**你的函数可以返回索引 1，其峰值元素为 2；
2024-05-15 05:14:25
994
原创 一个几乎全民都会的算法——二分查找_二分查找是目前新兴的一种流行算法(5)
第10次报价:1658 低了第11次报价:1707 高了第12次报价:1682 高了第13次报价:1670 正确！这个次数不高于log2(100000) ≈ 16.61，所以二分查找的时间复杂度为 O(log n)。
2024-05-15 05:13:49
788
原创 VisualVM【实践 01】工具VisualVM下载使用及插件Visual GC示例说明HashMap初始化容量initialCapacity的影响（源码及visualvm_215
来自官网的介绍：VisualVM 是一个集成命令行 JDK 工具和轻量级概要分析功能的可视化工具。设计用于开发和生产时使用。对比一下JDK自带版本和下载的最新版本区别：JDK自带版本为汉化版本安装的插件版本不同UI新版本稍好（JDK8可是6年前的东西了）
2024-05-14 20:34:38
375
原创 Vineyard 加入 CNCF Sandbox，将继续瞄准云原生大数据分析领域(1)
在云环境中，一个端到端流水线中包含的多个子任务在被 Kubernetes 调度时仅仅考虑了需要的资源约束，连续的两个任务的 co-locate 无法保证，在两个任务之间共享中间结果时仍然有数据迁移引入的网络开销，如下图，在运行 Task B 时，因为两个任务的 Pod 没有对齐，数据分片 A3、A4 需要被迁移到 Pod 所在的 Vineyard 实例上。为了使端到端工作流中任务之间的数据共享更加高效，Vineyard 通过内存映射的方式，支持系统间零拷贝的数据共享，省去了额外的 IO 开销。
2024-05-14 20:34:02
804
原创 Unity技术手册-脚本生命周期基础入门全解_unity serializable 生命周期
Start函数是游戏的第一针更新前运行的，而Awake函数是物体被唤醒执行的，接着唤醒就要激活物体会调用OnEnable，所以顺序是Awake-OnEnable-Start来执行的。当暂停的时候回调，可以是程序的暂停可以是回到桌面进入后台的暂停，携带布尔值，true表示进入前台执行，false是进入后台，除了这个还有个经常成对出现的，就是OnApplicationFocus表示当前应用是否获取焦点。渲染每一帧的时候，都需要改变物体对象的某些属性，这些业务逻辑的处理正是放在这些方法里的。
2024-05-14 20:33:26
712
原创 Unity技术手册-UGUI零基础详细教程-Toggle切换_unity 代码控制shader的toggle值
重点在Toggle上，可以看到Toggle组件中的Transition和Button中的一样，有四个设置选项（下方有图，重点属性）无、颜色过度、精灵图切换过度、动画过度。将脚本挂载在Toggle Group中，然后给Toggle一和Toggle二添加事件，将Toogle Group拖拽进来，然后方法的传递参数是Toggle自身，如我们上图所示。**On Value Changed（Boolean）：**类似于Button中的On Click，在这里添加事件，可以使得开关被点击的同时触发一些事件。
2024-05-14 20:32:49
982
原创 2024年最新从双非到大数据开发工程师，我是如何上岸阿里大厂的？，2024年最新值得推荐
笔试这东西，做的多了，感觉自然就来了，不会的就暴力，凑子集，凑着凑着也就A了。由于我严重低估了学习大数据技术栈所需要的时间，同时开发环境总是存在问题，加之八月份硬盘离奇烧掉，导致九月份开始秋招投递，严重耽误秋招进程，成功翻车。我立即作出了改变，对熟悉的关键技术进行了深化，将不足加以补充，同时面试过程中尝试让自己更加主动，主动去介绍、主动展现自我优势、主动与面试官聊天，面试也愈加轻松、熟练。十月中旬，我第一个offer下来了，待遇高于大厂白菜，十分吸引人，公司是两个超一线大Leader新创办的公司。
2024-05-14 11:15:30
212
原创 2024年最新从JVM底层原理分析数值交换那些事·Java大数据高级架构师(4)，2024年最新完整PDF
而swap(a,b)执行结束之后，该方法的堆栈会被弹出虚拟机栈，此时虚拟机栈又剩下main()方法的栈帧，由于基础数据类型的数值相当于存在局部变量中，swap(a,b)栈帧中的局部变量不会影响main()方法的栈帧中的局部变量，所以，就算你在swap(a,b)中交换了，也不会变。而两者交换之后，其实是SwapInteger(a,b)栈帧中的a里面存的地址引用变了，指向了b，但是b里面的，指向了a。上面的图，我们在main()方法的局部变量表中，确实看到了三个变量：args,a，b。虚拟机栈里面放着好多。
2024-05-14 11:14:54
348
原创 2024年最新什么是大数据测试？有哪些类型？应该怎么测 (1)，详解系列文章
在项目中，我们使用了维度建模和星型模型来设计数据模型，同时对数据模型进行了规范化设计，包括字段命名、数据类型、主键、外键、索引、分区等方面。在数据准备阶段，我们需要制定数据采集计划、数据清洗规范、数据转换规范、数据整合规范等，并使用ETL工具和自定义脚本来实现数据的准备。在项目中，我们通常会使用数据验证工具和自定义脚本来实现数据验证，包括数据完整性、数据准确性、数据一致性、数据重复性等方面。在项目中，我们制定了一系列的数据质量规范，包括数据清洗、数据校验、数据标准化、数据去重、数据加工等方面。
2024-05-14 11:14:18
575
原创 2024年最新交换机的工作原理以及搭建局域网划分VLAN_交换机搭建局域网，大数据开发开发项目面试描述
如上图所示，当交换机记录了四台电脑的MAC地址后，就可以准确的将信息传送到对应的主机，其他主机不做任何反应。
2024-05-14 11:13:41
259
原创 2024年大数据计算引擎：impala对比hive(1)，2024年最新真的醉了
把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->reduce模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。: 采用拉的方式，后续节点通过getNext主动向前面节点要数据，以此方式数据可以流式的返回给客户端，且只要有1条数据被处理完，就可以立即展现出来，而不用等到全部处理完成，更符合SQL交互式查询使用。: 采用推的方式，每一个计算节点计算完成后将数据主动推给后续节点。
2024-05-14 02:36:12
760
原创 2024年大数据竞赛数据抽取部分_gy_pub，2024年最新大数据开发基础面试题2024
insert into ods.sku_info partition(etldate=“19971201”) values(1,1,2220,“测试”,“new ssku_desc”,0.24,2,61,“http://www.baidu.com”,“1997-12-01 12:21:13”);insert into table ods.base_province partition (etldate=“19971201”) values(0,“测试”,1,110000,“CN-11”);
2024-05-14 02:35:00
894
原创 2024年大数据知识框架，大数据开发开发从零开始
数据流中按照固定方式插入 barrier ，对于一个 task ，每经过一个 barrier ，将创建检查点，当前的状态会以快照的形式进行存储。当一个 task 有多个输入源时，来自不同输入源的 barrier 未对齐，可能导致其中一些输入源的数据被多次处理，即 At Least Once 语义；：将 Acker 开启后，如果下游某一个 Bolt 处理失败或超时未完成，上游会重发数据，以此保证数据至少被成功处理一次（至少一个相应的 ACK 被接收），即 At Least Once 语义。
2024-05-14 02:34:24
580
原创 2024年大数据最全MobileNet实战：tensorflow2(1)，GitHub标星8k
)])写了两个数据增强，一个是用于训练，一个用于验证。验证集只需要对图片做归一化处理。第四步 定义图像处理的方法generator的主要作用是处理图像，并迭代的方式返回一个batch的图像以及对应的label。思路：在while循环：初始化input_samples和input_labels，连个list分别用来存放image和image对应的标签。分别从file_pathList和labels，得到图片的路径和对应的label读取图片。
2024-05-13 17:49:34
962
原创 2024年大数据最全MMSegmentation文档学习记录（一）(1)，2024年最新金三银四大厂面经总结
返回值：nn.Module：构建好的分割器。‘’’‘’’参数：model（nn.Module）- 加载的分割器imgs（str，np.ndarray 或 list[str/np.ndarray]）- 图像文件或加载的图像返回值：SegDataSample 或 list[SegDataSample]：!如果 imgs 是列表或元组，则返回相同长度的列表类型结果，否则直接返回分割结果。
2024-05-13 17:48:58
755
原创 2024年大数据最全mac系统使用经验，大数据开发编程零基础
brew是macos下的一个包管理工具，类似与centos的yum，ubuntu的apt-get等。自动脚本(全部国内地址)（在Mac os终端中复制粘贴回车下面这句话)即可按照提示，自动安装。安装完成后，重新启动终端，就可以运行brew。Elasticsearch是java开发，这里面包含一个赠送的jdk。原来的终端窗口es在running中，所以需要打开另一个终端窗口。重新设置密码方式（在启动es的情况下执行）用户名是elastic。以安装openjdk17为例。输入以下命令，即可解决。
2024-05-13 17:48:23
359
原创 2024年大数据最全MAC M1使用docker 安装es kibana ik分词器，系统盘点大数据开发开发者必须掌握的知识点
【代码】2024年大数据最全MAC M1使用docker 安装es kibana ik分词器，系统盘点大数据开发开发者必须掌握的知识点。
2024-05-13 17:47:47
246
原创 2024年git基础命令 最常用的命令 看这一篇就够了，真香
如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。第一次连接时有一个问题回答yes即可 出现 successfully 则测试成功。将出现的公钥复制到远程仓库SSH公钥设置中！使用的是gitee(码云)仓库。项目名称即克隆下来的文件夹名。
2024-05-13 12:13:57
271
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人