- 博客(306)
- 收藏
- 关注
RSS订阅原创 ChatGPT方法论“BORE“_bore分析法
不过，mermaid提供的能力远远不止时序图，目前官网上就有13种可用的图表，包括流程图，顺序图，类图，状态图，实体关系图，用户旅程，甘特图，饼状图，需求图，Git图，C4C图，思维导图，和时间轴。那么，OKR是什么呢？我们在之前的场景中其实已经为ChatGPT定义了OKR，例如在“应用场景2 起草文档的结构与框架”里，“提供一个试乘体验报告框架模板”就是“O”，而"要涵盖产品体验的不同方面，使用逻辑严密，清楚的语言，有优雅清晰易于理解的结构"则可以看做“KR”。图，C4C图，思维导图，和时间轴。
2024-06-21 00:34:39
548
原创 Hadoop大数据应用：NFS网关 连接 HDFS集群
(1) 修改主机名（2）配置代理用户nfsgateway节点hadoop节点（3）查看用户id(4)代理用户授权修改前：（5）修改主机域名（6）同步域名(7)查看 （nfsgateway节点）（8）同步Hadoop配置 (hadoop节点)（9）停止服务（10）启动服务（12）查看jps(13) 验证（14）卸载 （nfsgateway节点）完成（15）安装java运行环境查看jps（16）SSH免密认证（17）关闭安全机制（需要reboot重启）（18）同步hadoop配置。
2024-06-20 16:11:35
316
原创 BicycleGAN详解与实现
1L_1L1损失。因此使用GAN的鉴别器来学习目标函数，以判断伪造的图像是否真实，并使用VAE作为生成器，生成的图像更清晰。如果忽略上图(c)中的图像AAA，那就是VAE-GAN，由于以AAA 为条件，其成为条件cVAE-GAN。VAEBBB 编码为多元高斯分布的潜在编码，然后从它们中采样以创建噪声输入，此流程是标准的VAE工作流程；2. 使用图像AAA 作为条件及从潜矢量zzz 采样的噪声用于生成伪图像B\hat BB^.训练中的数据流为B−z−B。
2024-06-20 14:22:23
359
原创 AI遮天传 ML-回归分析入门_回归分析已知x求y
Regression回归分析我们通常叫做 Regression ，它其实是一大类方法。我们之前了解到的Predicition它即包括了Regression也包括了，即回归和分类。像是决策树适合的离散型输出，我们一般叫做分类；而对于连续型输出的问题，比如用户的满意度、一个家庭一年的开销或者是用户星级的评价、用户的点击又或是一些概率等等，就要用到这次介绍的Regression方法。回归分析是描述变量间关系的一种统计分析方法• 例：在线教育场景• 因变量 Y：在线学习课程满意度。
2024-06-20 11:38:40
371
原创 RabbitMQ学习总结-消息的可靠性
if(result.isAck()){ // result.isAck()，boolean类型，true代表ack回执，false 代表 nack回执。log.error(“发送消息失败，收到 nack, reason : {}”, result.getReason());}else{ // result.getReason()，String类型，返回nack时的异常描述。// 2.2.Future接收到回执的处理逻辑，参数中的result就是回执内容。log.debug(“发送消息成功，收到 ack!
2024-06-20 01:13:00
387
原创 hive开窗函数总结
over关键字来指定函数执行的范围,包含三个分析子句:分组(partition by)子句,排序(order by)子句,窗口(rows)子句。窗口大小可以通过 rows between …1.窗口函数的基本用法。
2024-06-20 00:08:29
114
原创 重学scala：scala函数式编程与高阶函数_定义一个数组,把其中偶数取出来,scala语言(2)
res0: scala.collection.immutable.Map[String,List[(String, String)]] = Map(男 -> List((张三,男), (王五,男)),val b = List(“张三”->(“男”, “北京”), “李四”->(“女”, “河北”), “王五”->(“男”, “北京”))a: List[(String, String)] = List((张三,男), (李四,女), (王五,男))//匿名函数的输入参数的“类型”可以省略，由编译器自动推断。
2024-05-16 13:04:13
279
2
原创 重学scala：scala函数式编程与高阶函数_定义一个数组,把其中偶数取出来,scala语言(1)
自定义排序，根据函数来定义排序规则sortWith方法API说明参数传入一个比较大小的函数对象，接收两个集合类型的元素参数，返回两个元素大小，小于返回true，大于返回false返回值List[A]返回排序后的列表//降序//升序//字典序升序。
2024-05-16 13:03:40
431
原创 都2024年了，还不会对称加密和非对称加密算法？_对称加密算法和非对称加密算法没学过的人难吗
加密使用的密钥和解密使用的密钥不同：+ 一把作为公开的公钥+ 另一把作为谁都不给的私钥公钥加密的信息，只有私钥才能解密。私钥加密的信息，只有公钥才能解密。因为对称加密算法相比非对称加密算法来说，效率较高，性能也好，所以常用对称加密。
2024-05-16 13:03:07
331
原创 都2024年了，还不会对称加密和非对称加密算法？_对称加密算法和非对称加密算法没学过的人难吗 (2)
你不会从电商网站得到一个公钥，而是会得到一个证书，该证书有个发布机构CA，你只要得到这个发布机构CA的公钥，去解密电商网站证书的签名，解密成功，Hash也对的上，就说明这个电商网站的公钥没问题。比如你用公钥加密，说“我要买娃娃”，黑客在中间就算截获这个报文，因为它没有私钥，解不开，所以该报文能顺利到达电商网站，电商网站再用私钥解密这个报文，然后回复，“那给我银行卡和支付密码吧”。这就像在说：“您好，保密没问题，你的加密套路还挺多，咱们就按套路2吧，我这里也有个随机数，你也留着。
2024-05-16 13:02:34
303
原创 最新数据仓库工具hive面试题集锦(2)，10年阿里开发架构师经验分享
3）SemiJoin，semijoin 就是左边连接是 reducejoin 的一种变种，在 map 端过滤掉一些数据，在网络传输过程中，只传输参与连接的数据，减少了 shuffle的网络传输量，其他和 reduce的思想是一样的。2、hive 内部表和外部表的区别？外部表：一般会建立分区，增加分区的时候不会将数据移到此表的 location下，删除数据的时候，只删除了表的元数据信息，表的数据不会删除。1）join 优化，尽量将小表放在 join 的左边，如果一个表很小可以采用 mapjoin。
2024-05-16 09:21:59
300
原创 最新数据仓库实战教程_数据仓库经典教程(1)，大数据开发开发基础作用
数据仓库已经是企业的数据竞争的核心了，学好数据仓库对提高自己和找到一份好的工作都至关重要，但是很多人对数仓的印象还是停留在写SQL的层面,其实今天的数仓更像是一个数据平台应用,我们学习的大数据技术其实最终的价值都体现在数据服务上，数仓是数据服务的基石，如果说业界以前还有离线和实时之分的话，那么现在实时数仓的提出与落地，未来数仓将是数据战争的最激烈的战场，一切大数据技术都将为数仓提供服务，也都将在数仓这一环节进行收口。读者交流群已经开通了，有需要的可以私信进入读者交流群。
2024-05-16 09:21:26
404
原创 最新数据仓库——聚集(3)，5天拿到华为大数据开发岗offer
由于多维数据集首先是一种高性能的数据结构，因此构建汇总多维数据集的聚集几乎没有意义，然而如果原始多维数据集被调整为获得高容量而不是高性能，这样做是有用的。对于某个给定的查询，在选择星型模式时，要获得最理想的性能，就需要考虑采用在事实表中具有行数最少并且能够回答查询的聚集星型模式。聚集星型模式中事实和维度属性与基本星型模型中相关的事实和维度属性一致，对利用聚集的查询的重写工作包含替换表名和关键字列。但是，聚集发挥作用，需要为每个查询选择正确的聚集，还需要为聚集填充数据并确保能够与基本数据模式保持同步。
2024-05-16 09:20:53
333
原创 最新数仓建设实践——58用户画像数仓建设，谈谈大数据开发-Binder机制及AIDL使用
简而言之，数据仓库是一个集成的、面向主题的、相对稳定的数据集合，它能够反映数据的历史变化。在构建数据仓库时，会根据不同的主题域对数据进行分类，并通过数据建模技术对数据进行重新组织和抽象，以便于从更层次对分析对象进行一致且完整的描述，清晰的刻画出各种分析场景，涵盖企业各个方面的数据。以流量主题域为例，可以清楚地知道这个主题域包含了企业所有系统的用户行为数据。数据仓库的集成性特性体现在它能够整合来自不同业务系统的数据。
2024-05-16 09:20:20
424
原创 最全git入门(2)，2024年最新春招我借这份PDF的复习思路
如果我们在工作目录下新建了一个文件，但Git此时并不认为该文件归Git管理，此时该文件的状态就是untracked(未跟踪)。同样的，如果是修改仓库里的文件，此时该文件的状态就是unstaged(未暂存)，和untracked一样，它们都处于工作区。暂存区是提交到本地仓库前的一个缓冲区。如果要把工作区的内容提交到暂存区，只需要用git add指令来提交即可。这里的仓库就是指本地仓库，将文件从暂存区提交到本地仓库需要使用git commit指令。
2024-05-16 01:33:04
983
原创 最全GFS分布式文件系统_mount glusterfs(2)，插件化框架解读之大数据开发系统服务实现原理
使用GFS会使用到以上的虚拟文件系统glusterd (服务)是运行在存储节点的进程客户端运行的是gluster client整个GFS之间的交互是由Gluster client和glusterd完成的 (GFS使用过程)。
2024-05-16 01:31:58
754
原创 最全Fluid 进入 CNCF Sandbox，加速大数据和 AI 应用拥抱云原生，2024年最新技术详细介绍
Fluid 运行在 Kubernetes 上，是一个可扩展的分布式数据编排和加速系统，其目标为构建云原生环境下数据密集型应用的高效支撑平台。该项目开源于 2020 年 9 月，短短半年多时间内发展迅速，吸引了众多领域专家和工程师的关注与贡献，并在包括微博、中国电信等多家大型知名IT和互联网企业中使用。云原生环境下，计算存储分离架构在提升系统弹性和灵活性的同时，给大数据 / AI 等数据密集型应用带来了计算性能和管理效率方面的挑战。：通过扩展 CacheRuntime 对象，自定义并管理分布式数据缓存引擎。
2024-05-16 01:31:25
418
原创 大数据最全计算机网络-分组交换与电路交换_分组交换 举例，阿里大数据开发岗面试百题
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2024-05-15 16:46:23
359
原创 大数据最全若依框架---PageHelper分页(十)_若依如何取消分页限制，2024年最新分享复习经验和后台开发面经
【代码】大数据最全若依框架---PageHelper分页(十)_若依如何取消分页限制，2024年最新分享复习经验和后台开发面经。
2024-05-15 16:45:50
362
原创 大数据最全节流，防抖，new函数，柯里化，扁平化数据(3)，2024年最新【原理+实战+视频+源码
if(typeof res===‘function’ || typeof res===‘object’ && typeof res===null){ // 兼容处理下返回值。* 也就是触发的频率大于规定的1000ms，控制台只打印’一直触发事件中‘，不会出现’大于设置时间间隔，事件触发‘{id: ‘a’, pid: 0, value: ‘陕西’},{id: 1, pid: ‘a’, value: ‘西安’},{id: 2, pid: ‘a’, value: ‘渭南’},
2024-05-15 16:45:17
409
原创 大数据最全自学rabbitmq入门到精通(2)，2024年最新教你一种更清晰的大数据开发架构
1）对于生产者：通过事物消息：对于本地来说，如果在进行一个业务的时候需要进行消息的发送，那么，将这个同时包裹为一个事物，这两个东西必须一块完成。如果说用户在这个时候支付了订单，可以将数据库中的支付状态改为 1 ， 那么消息接收的时候判断支付状态：如果支付状态为1，那么就不删除，如果支付状态不为1，是0（表示未支付） 那么就不将订单删除。2）消费者：不进行重复消费，将消费过的消息放到redis中，接收到了消息之后判断在redis中有无，如果有的话，那么就是消费过了，如果没有，那么就进行消费。
2024-05-15 16:44:44
223
原创 大数据最全【(17)，大数据开发中高级面试必知必会
也就是说，如果该文件不存在，则不会创建它。值，用于指定在文件不存在时是否创建该文件，并确定是保留还是覆盖现有文件的内容。一个设置为指定目录的创建日期和时间的结构。该值用本地时间表示。方法将文件替换为其他文件，并创建被替换文件的备份。要移动的文件的名称。用于读取和写入到文件的已放入缓冲区的字节数。值之一，它描述如何创建或覆盖该文件。要删除的文件的名称。具有指定缓冲区大小的新文件。下面的示例确定文件是否存在。要创建的文件的路径及名称。下面的示例将移动一个文件。指定的文件的文件名。文件的新路径和名称。
2024-05-15 13:59:47
635
原创 大数据最全【(14)，大数据开发黑科技实现原理揭秘
当前流的内容将复制到的流。bufferSize缓冲区的大小。此值必须大于零。默认大小为 81920。
2024-05-15 13:59:15
975
原创 大数据最全『RabbitMQ』入门指南（安装，配置(2)，2024年最新大数据开发攒了一个月的面试题及解答
【代码】大数据最全『RabbitMQ』入门指南（安装，配置(2)，2024年最新大数据开发攒了一个月的面试题及解答。
2024-05-15 13:58:42
225
原创 大数据最全「自定义类型」C语言中的构造数据类型如结构，联合，枚举(1)，头条大数据开发面试节奏
（3）由若干构造数据类型组合而成的数据类型是构造数据类型。注：语言本身的这种能力使我们能够定义非常复杂的数据结构，例如树 (tree）、链表 （list）和映射（map）等。C++语言对C 语言的 struct 进行了改造，使其也可以像class 那样支持成员函数的声明和定义，从而使struct 变成真正的抽象数据类型 (Abstract Data Type. ADT),这使得许多人对 struct 和 class 倍感困惑。当语言支持某种特征时，是否使用这种特征则完全取决于程序员。
2024-05-15 13:58:09
737
原创 一文了解知识图谱能做什么、本文含Jiagu自然语言处理工具试用、知识图谱实战。(1)
jiagu.load_userdict([‘思知机器人’])text = ‘’’该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。
2024-05-15 05:28:25
736
原创 一文了解树在前端中的应用，掌握数据结构中树的生命线_先序遍历在实际生活中的应用
**打印结果：4251637*/// 非递归版实现/*** 思路：* 1.新建一个栈模拟函数的调用堆栈；* 2.对于中序遍历来说，需要先把左子树全部丢到栈里面；那么需要每当遍历一个，就推到栈里面* 3.遍历完成之后，把最尽头的结点弹出，并访问它；此处最尽头的结点即尽头出的根节点，左根右* 4.访问完左结点后，需要访问右结点；*/if(!while§{// 先进栈。
2024-05-15 05:27:49
833
原创 一文了解树在前端中的应用，掌握数据结构中树的生命线_先序遍历在实际生活中的应用(5)
深度优先遍历，即尽可能深的搜索树的分支。广度优先遍历，即先访问根节点最近的节点。对于二叉树来说，树中的每个节点最多只能有两个子节点。JS中没有二叉树，但通常用对象Object模拟二叉树。看完上面的代码实现后，我们来做个总结。为什么这里要展示递归版本和非递归版本呢？事实上，在我们的日常开发中，递归遍历是非常常见的。但试想一下，有时候我们的业务逻辑有可能很复杂，那这个时候前端从后端接收到的数据量是比较大的。这个时候如果用递归版本来处理的话，算法复杂度相对来说就会比较高了。
2024-05-15 05:27:13
646
原创 一文了解树在前端中的应用，掌握数据结构中树的生命线_先序遍历在实际生活中的应用(4)
/ 递归版本实现if(!/**打印结果：1245367*/// 非递归版实现/*** 思路：* 1.新建一个栈模拟函数的调用堆栈；* 2.对于先序遍历来说，需要先把根节点取出，然后再遍历左子树了右子树；* 3.按照栈的先进后出特点，先把右子树放进栈里，再把左子树放进栈里，一一取出。*/if(!// 新建一个stack代表函数的调用堆栈。
2024-05-15 05:26:35
530
原创 windows环境下python连接openGauss数据库_forbid remote connection with initial user(1)
Psycopg是一种用于执行SQL语句的PythonAPI，可以为PostgreSQL、openGauss数据库提供统一访问接口，应用程序可基于它进行数据操作。Psycopg2是对libpq的封装，主要使用C语言实现，既高效又安全。它具有客户端游标和服务器端游标、异步通信和通知、支持“COPY TO/COPY FROM”功能。支持多种类型Python开箱即用，适配PostgreSQL数据类型；通过灵活的对象适配系统，可以扩展和定制适配。Psycopg2兼容Unicode和Python 3。
2024-05-14 20:47:26
837
原创 Windows Server【开机启动和任务计划程序】实现服务器重启后项目自启动（Windows Server 任务计划程序无法执行问题处理）_windows server 开机启动项(4)
IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！2️⃣ shell:common startup 系统开机自启动（程序开机自启动针对所有用户）1️⃣ shell:startup 用户开机自启动（程序开机自启动只针对当前登录的用户）以下示例是不登录就可以执行任务，这里要特别注意选择。将要启动的应用程序快捷方式放到打开的文件夹下即可。最终确认时，由于第一步选择了。
2024-05-14 20:46:50
466
原创 Windows Server【开机启动和任务计划程序】实现服务器重启后项目自启动（Windows Server 任务计划程序无法执行问题处理）_windows server 开机启动项(3)
1️⃣ shell:startup 用户开机自启动（程序开机自启动只针对当前登录的用户）打开的目录为2️⃣ shell:common startup 系统开机自启动（程序开机自启动针对所有用户）打开的目录为将要启动的应用程序快捷方式放到打开的文件夹下即可。
2024-05-14 20:46:14
289
原创 Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）_idea连接虚拟机上hadoop集群
4.使用命令行查看环境变量是否配置成功5.安装jdk（解压到目录中，添加环境变量（和Hadoop配置相似，可以上去再看一下）变量名：JAVA_HOME变量值：E:\ProgramSoftware\java\JAVAHOME\jdk1.8.0_162变量值：%JAVA_HOME%\bin变量值：%JAVA_HOME%\jre\bin使用java -version、javac验证（注意上面bin以及\jre\bin都要配置，不然会出现hadoop找不到JAVA_HOME的问题）
2024-05-14 20:45:38
573
原创 2024年最新史上最全141道大数据面试题：Redis+Linux+kafka+Hadoop，2024年最新大数据开发基础编程
18、有 10 个文件，每个文件 1G，每个文件的每一行存放的都是用户的 query，每个文件的 query 都可能重复。20、腾讯面试题：给 40 亿个不重复的 unsigned int 的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那 40 亿个数当中？25、有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。23、一个文本文件，大约有一万行，每行一个词，要求统计出其中最频繁出现的前 10 个词，给出思想，给出时间复杂度分析。15、MapReduce 中排序发生在哪几个阶段？
2024-05-14 11:28:19
437
原创 2024年最新卷王指南，大学计算机专业，面临分专业，计科，软工(1)，大厂面经合集
比如说垃圾回收机制的升级，从 GC 到 ZGC，GC 的痛点在于垃圾回收期间，所有的线程都会停止活动，等待 STW（Stop The World）的结束，而 ZGC 在标记、转移和重定位阶段几乎都是并发的，大大缩短了停顿的时间。然后你发现人家用的数据结构和你的不同，接着你就会去学习数据结构，再了解一些高效的算法，比如动态规划等。当然了，你也可以选择 C 语言，这也是一个无法反驳的选择，C 语言是其他很多编程语言的基石，学了这个，再学其他任何一门编程语言都是很好的基础，只不过，指针这块确实令人头痛！
2024-05-14 11:27:43
375
原创 2024年最新单链表知识点(1)，教你如何增加拿到BAT大厂offer几率
【代码】2024年最新单链表知识点(1)，教你如何增加拿到BAT大厂offer几率。
2024-05-14 11:27:07
223
原创 2024年最新华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2，2024年最新35岁以上程序员求职没市场
华为云云耀云服务器L实例评测｜单节点环境下部署ClickHouse21.1.9.41数据库云耀云服务器L实例是新一代的轻量应用云服务器，专门为中小企业和开发者打造，提供开箱即用的便利性。云耀云服务器L实例提供丰富且经过严格挑选的应用镜像，可以一键部署应用，极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试等任务的过程。Hadoop是一个开源的分布式计算框架，能够处理大规模数据的存储和处理。它基于Google的MapReduce算法和Google File System（
2024-05-14 11:26:30
399
原创 2024年学习：Elasticsearch(2)，大数据开发多线程面试题
每个节点都知道任意文档所处的位置，并且能够将我们的请求直接转发到存储我们所需文档的节点。一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。而主节点并不需要涉及到文档级别的变更和搜索等操作，所以当集群只拥有一个主节点的情况下，即使流量的增加它也不会成为瓶颈。所有文档的更新或删除 API，都可以接受 version 参数，这允许你在代码中使用乐观的并发控制，这是一种明智的做法。
2024-05-14 02:49:05
911
原创 2024年学习：Elasticsearch(1)，2024年最新程序员深度学习
一个 Elasticsearch 集群可以 包含多个 索引（数据库中的表） ，相应的每个索引可以包含多个 类型 （？？？这些不同的类型存储着多个 文档 （表中的每一条记录），每个文档又有 多个 属性。一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。
2024-05-14 02:48:29
833
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人