- 博客(218)
- 收藏
- 关注
RSS订阅原创 凯哥带你从零学大数据系列之Java篇---第二十五章 文件操作详解
如果你的程序只需要考虑部署在windows平台， 那么只需要按照windows的规范书写就可以；如果你的程序只需要部署到linux上， 那么只需要按照linux的规范书写就可以。但是， 如果你的程序需要考虑在不同的平台上部署运行， 此时就需要使用以下方法进行分隔符的获取。理论上来讲， 在windows中， 应该使用\作为目录分隔符。在不同的操作系统中， 目录分隔符是不一样的。在不同的操作系统中， 路径分隔符是不一样的。分隔开一个路径中的不同的文件夹， 用来描述层级关系、 包含关系。
2024-05-01 00:34:40
155
原创 凯哥带你从零学大数据系列之Java篇---第二十五章 文件操作详解(1)
如果你的程序只需要考虑部署在windows平台， 那么只需要按照windows的规范书写就可以；如果你的程序只需要部署到linux上， 那么只需要按照linux的规范书写就可以。但是， 如果你的程序需要考虑在不同的平台上部署运行， 此时就需要使用以下方法进行分隔符的获取。是对磁盘上的某一个文件、文件夹（目录）的描述。所谓的文件操作， 其实都是需要使用这个类来完成的。在非windows的操作系统中， 例如: Linux、Unix…在不同的操作系统中， 路径分隔符是不一样的。分隔开一个字符串中的多个路径的。
2024-05-01 00:34:09
128
原创 冗余双写方案下数据一致性问题解决及延申问题处理方案
JDK指的是以线程为单位，当一个线程获取对象锁之后，这个线程可以再次获取本对象上的锁，而其他的线程是不可以的，synchronized 和 ReentrantLock 都是可重入锁。，redis、zookeeper等实现，虽然还是锁，但是多个进程共用的锁标记，可以用Redis、Zookeeper、Mysql。2）Rabbitmq的延迟队列采用死信队列方式解决，即被投递的队列无消费者订阅，所进入该队列的消息超时未消费时，会重新投递到另外的队列，超时时间则就是延迟时间。
2024-05-01 00:32:27
193
原创 冒死潜入某个外包公司获得的珍贵Java基础笔试题(附答案)_constructor必须与dass同名,但方法不能与dass同名,下列说法正确的有
5.抽象类和接口中都可以包含静态成员变量，抽象类中的静态成员变量的访问类型可以任意，但接口中定义的变量只能是public static final类型，并且默认即为public static final类型。抽象类中的抽象方法的访问类型可以是public，protected和默认类型，但接口中的抽象方法只能是public类型的，并且默认即为public abstract类型。3.抽象类中可以包含非抽象的普通方法，接口中的所有方法必须都是抽象的，不能有非抽象的普通方法。1.重载只和参数列表有关。
2024-05-01 00:31:56
189
原创 【数据结构与算法】ArrayList与顺序表_int index = (int)info
ArrayList实现了RandomAccess接口，表明ArrayList支持随机访问ArrayList实现了Cloneable接口，表明ArrayList是可以clone的ArrayList实现了Serializable接口，表明ArrayList是支持序列化的和Vector不同，ArrayList不是线程安全的，在单线程下可以使用，在多线程中可以选择Vector或者CopyOnWriteArrayListArrayList底层是一段连续的空间，并且可以动态扩容，是一个动态类型的顺序表。
2024-04-30 13:48:23
389
原创 【数据结构】插入排序（直接插入排序 &；&； 希尔排序）_本关任务 直接插入排序是一种最简单的排序方法,它的基本操作是将一个记录插入到已
1️⃣元素集合越接近有序，直接插入排序算法的时间效率越高2️⃣此时待排序列为逆序，或者说接近逆序O(N^2)此时待排序列为升序，或者说接近升序O(N)3️⃣空间复杂度O(1)，它是一种稳定的排序算法4️⃣稳定性：直接插入排序在遇到相同的数时，可以就放在这个数的后面，就可以保持稳定性了，所以说这个排序是稳定的。
2024-04-30 13:46:00
461
原创 【数据结构】插入排序（直接插入排序 &；&； 希尔排序）_本关任务 直接插入排序是一种最简单的排序方法,它的基本操作是将一个记录插入到已(1)
1️⃣元素集合越接近有序，直接插入排序算法的时间效率越高2️⃣此时待排序列为逆序，或者说接近逆序O(N^2)此时待排序列为升序，或者说接近升序O(N)3️⃣空间复杂度O(1)，它是一种稳定的排序算法4️⃣稳定性：直接插入排序在遇到相同的数时，可以就放在这个数的后面，就可以保持稳定性了，所以说这个排序是稳定的。
2024-04-30 13:45:29
284
原创 [大数据测试]ETL测试或数据仓库测试入门_etl上线压力测试(1)
ETL测试是为了确保从源到目的地数据经过业务转换完成后是准确的。同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。ETL是Extract-Transform-Load的缩写。
2024-04-30 05:35:33
459
原创 [大数据之集群部署】01 集群环境安装-初始环境准备
【文章说明】：本篇将介绍如何通过以下步骤，将在虚拟机或云服务器上为搭建Hadoop集群或CDH集群做准备工作【操作步骤】：以下操作均以CentOS 7.9系统为例，是搭建Hadoop集群或CDH集群的前置操作。。
2024-04-30 05:35:02
521
原创 [大数据之集群部署】01 集群环境安装-初始环境准备(2)
/安装vim编辑器、网络时间同步工具、工具包、下载工具、服务器与本地电脑传输工具、制作脚本工具、rsync工具包、locate命令包 “红帽系”操作系统的额外安装包。// 删除文件中内容，在文件中增加主机别名，比如在01节点为hadoop01，02节点为hadoop02，03节点为hadoop03。5. 创建bigdata用户，并修改bigdata用户的密码（此操作是为了降低用户权限，集群操作安全，可选步骤）修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示。
2024-04-30 05:34:00
638
原创 [大数据之集群部署】01 集群环境安装-初始环境准备(1)
/安装vim编辑器、网络时间同步工具、工具包、下载工具、服务器与本地电脑传输工具、制作脚本工具、rsync工具包、locate命令包 “红帽系”操作系统的额外安装包。// 删除文件中内容，在文件中增加主机别名，比如在01节点为hadoop01，02节点为hadoop02，03节点为hadoop03。5. 创建bigdata用户，并修改bigdata用户的密码（此操作是为了降低用户权限，集群操作安全，可选步骤）修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示。
2024-04-30 05:33:29
565
原创 1小时入门，手把手教你学会用webpack打包，隔壁王大爷看了都说小伙子细！_copy-webpack-plugin 6(3)
package.json文件中的scripts键，可以配置自定义的命令，scripts中的键代表自定义的命令：npm run 自定义的命令 - 运行的真实命令其实是，这个键对应的值。package.json中配置的命令的时候，有4个默认命令（start/test/restart/stop），是可以在运行的时候省略run， npm start。注意：此时的下载要小心版本，webpack版本5及其以上，出来时间不长，但不兼容以前的对应插件，而现在项目中所使用的版本是4，所以需要下载版本5之前的版本。
2024-04-29 20:27:57
107
原创 1小时入门，手把手教你学会用webpack打包，隔壁王大爷看了都说小伙子细！_copy-webpack-plugin 6(2)
注意：此时的下载要小心版本，webpack版本5及其以上，出来时间不长，但不兼容以前的对应插件，而现在项目中所使用的版本是4，所以需要下载版本5之前的版本。在nodejs中我们通常是下载别人的模块再引用，当别人已经使用webpack上传，我们是不可以再用这个名字的。下面，我们在站点文件内，右键git bash here。初始化成功，站点自动生成package.json 文件。、实战项目、大纲路线、讲解视频，并且后续会持续更新**注意：站点文件名不可以起名叫webpack。在站点新建文件src： ⭐。
2024-04-29 20:27:26
106
原创 10分钟手把手教你用Android手撸一个简易的个人记账App
看完五个界面所需要的内容之后，接下来，我们来对它进行原型绘制。现在，原型图设计完毕。我们接着设计高保真App界面。
2024-04-29 20:24:22
321
原创 大数据：Hadoop入门经典案例wordcount单词统计Java代码实现
，注意，在Hadoop2.8.3，Windows 10,64位环境下，编译出的jar包里面有两个文件夹：META-INF和license，如果直接运行将导致失败。4，通过start-all命令，启动Hadoop，如附录1中那样。3，在IntelliJ IDEA中直接导出可运行的Java的jar包（具体方法见文章。上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！如果不删除这两个文件夹，在jar包运行时候，会抛出错误导致运行失败。运行后输出的结果和附1相同。
2024-04-29 00:30:02
769
原创 大数据（8i）Spark练习之TopN_第一行输入为topn和文章数m
自定义分区器可以缓解数据倾斜，后面需要二次聚合// 总的分区数// 按key分区，此处假设44数据倾斜// 创建SparkConf对象，并设定配置// 创建SparkContext对象，Spark通过该对象访问集群// 创建数据43, 43,))// 省份汇总统计// 自定义分区// 查看各分区元素println("分区" + pId + "元素：" + iter.toList)iter}).collect// 二次聚合// 查看各分区元素。
2024-04-29 00:29:31
240
原创 大数据领域相关术语总结
比如微信账号可以登录腾讯视频。例如，Google的BERT模型、OpenAI的GPT模型、Facebook的RoBERTa模型等都是目前最为著名的LLM大模型之一，它们使用了大量的训练数据和强大的计算资源，取得了在自然语言处理领域的重大突破。LLM大模型的出现，不仅为自然语言处理领域带来了新的进展，也为其他领域的研究提供了新的思路和方法。例如，在计算机视觉、音频处理、医疗健康等领域，也可以使用类似的方法，使用大量数据和强大的计算资源来训练大型模型，从而实现更加准确和高效的预测和分析。
2024-04-29 00:28:28
531
原创 大数据面试题_kafka message header
大家都知道namenode与secondary namenode 的关系，当他们要进行数据同步时叫做checkpoint时就用到了fsimage与edit，fsimage是保存最新的元数据的信息，当fsimage数据到一定的大小事会去生成一个新的文件来保存元数据的信息，这个新的文件就是edit，edit会回滚最新的数据。每个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统将会启动一个线程将缓冲区的数据写到磁盘，这个过程叫做spill。一般开启这个会比较好，以防错误删除重要文件。
2024-04-29 00:27:57
810
原创 【数据结构】有妙手、本手、俗手？这7道二叉树题(3)
遍历递归root等于NULL子树存在不等于。我们想一想相等是不是只能继续递归下去，所以我们要去找不相等。左右子树结果为true单值二叉树&&访问根再左右子树前序遍历&&前序遍历传递性慎用全局变量🌠动图解析：👇🏻2️⃣递归法。
2024-04-28 11:09:34
696
原创 【数据结构】我家三岁表弟都明白的栈和队列，你不会不了解吧？
(img-j9rHRmuo-1714273605889)]if (q->front == q->rear) //队列中只有一个元素。typedef struct QNode //队列的每个节点（链表）QueueEmpty(q));typedef struct Queue //队列。// 获取栈中有效元素的个数。// 获取栈中有效元素的个数。else //队列有多个元素。// 检测栈是否为空。// 检测栈是否为空。
2024-04-28 11:07:12
862
原创 【数据结构】我家三岁表弟都明白的栈和队列，你不会不了解吧？(2)
(img-SenVViKO-1714273581314)]if (q->front == q->rear) //队列中只有一个元素。typedef struct QNode //队列的每个节点（链表）QueueEmpty(q));typedef struct Queue //队列。// 获取栈中有效元素的个数。// 获取栈中有效元素的个数。else //队列有多个元素。// 检测栈是否为空。// 检测栈是否为空。
2024-04-28 11:06:41
836
原创 【数据结构】彻底掌握时间复杂度和空间复杂度_数据转换时间复杂度
/ [begin, end]：begin和end是左闭右闭区间，因此有=号。(img-RPEtqsje-1714273516458)](img-z3Bc7LMi-1714273516458)]// 计算BinarySearch的时间复杂度？// 计算BubbleSort的时间复杂度？// 计算BubbleSort的空间复杂度？// 计算strchr的时间复杂度？// 计算Func2的时间复杂度？// 计算Func3的时间复杂度？// 计算Func4的时间复杂度？
2024-04-28 11:05:36
667
2原创 【Day26】LeetCode算法刷题 [856
示例 3：输入： “()()”输出： 2示例 4：输入： “(()(()))”输出： 6提示：S 是平衡括号字符串，且只含有 ( 和 )。解题思路我们可以借助栈结构来计算平衡括号字符串的得分。我们首先将当前得分0入栈，准备计算平衡括号字符串s的得分：当我们遇到左括号，我们将当前左括号囊括范围中的平衡括号字符得分0入栈，准备计算的得分。当我们遇到右括号首先就说明了，当前的平衡括号字符内的得分已经计算好，弹出栈顶元素，记录为v,它代表着平衡括号中的得分。
2024-04-28 06:06:41
809
原创 【C语言刷题】牛客网编程入门130题--精选题目（编程初学者赶紧进来!!!）_牛客网c语言题库
将一个四位数，反向输出。针对每组输入，反向输出对应四位数。12344321思路一 – 递归思路：例如：逆序打印1234可分为：打印个位4 + 逆序打印123即先打印个位部分，再打印逆序打印除去个位的数字思路二：迭代思想(非递归，循环)例如：1234，每次取出他的个位进行打印即可而取出个位的操作：%10/10即可完成。
2024-04-28 06:05:38
380
原创 【C语言刷题】牛客网编程入门130题--精选题目（编程初学者赶紧进来!!!）_牛客网c语言题库(3)
问题：一年约有 3.156×107 s，要求输入您的年龄，显示该年龄合多少秒。(img-QjAG2RGu-1714255487865)](img-IdiDAaX5-1714255487864)]例如：逆序打印1234可分为：打印个位4 + 逆序打印123。即先打印个位部分，再打印逆序打印除去个位的数字。例如：1234，每次取出他的个位进行打印即可。一行，包含一个整数，输出年龄对应的秒数。而取出个位的操作：%10/10即可完成。针对每组输入，反向输出对应四位数。将一个四位数，反向输出。
2024-04-28 06:05:07
358
原创 2024-JAVA-大数据-面试汇总_大数据java部门面试(2)
RDD就是弹性分布式数据集，可以理解为一种数据结构，拥有多种不同的RDD算子。
2024-04-27 20:35:19
593
原创 2024-JAVA-大数据-面试汇总_大数据java部门面试(1)
1,sex 改为age,非空，默认值为02 统计035号课程分数大于036号课程分数的学生ID3 统计所有003班学生各门功课的课程名称和平均分以上是所有的面试题，在写sql的时候，卡了好久，因为好久没写过三表联查，子查询的sql，差不多忘了，后来下线时，一度以为自己挂了，但是过了一个多小时之后，看了一下状态，面试一轮通过，可能是面试官看我前面的问题答得还可以让我过吧。只是这问题量着实有点多。希望尽快约下轮面试。
2024-04-27 20:34:48
566
原创 13 万字 C 语言从入门到精通保姆级教程2024 年版_13万字c语言保姆教程
计算机程序是为了告诉计算机"做某件事或解决某个问题"而用"***计算机语言***编写的命令集合(语句)只要让计算机执行这个程序,计算机就会自动地、有条不紊地进行工作,计算机的一切操作都是由程序控制的,离开程序,计算机将一事无成现实生活中你如何告诉别人如何做某件事或者解决某个问题?通过人能听懂的语言: 张三你去楼下帮我买一包烟, 然后顺便到快递箱把我的快递也带上来其实我们通过人能听懂的语言告诉别人做某件事就是在发送一条条的指令。
2024-04-27 20:31:44
749
原创 100天精通Python丨基础知识篇 —— 01、C站最全Python标准库总结_python学习100天 csdn(1)
import sys10.0import osos.getcwd() # 返回当前的工作目录os.chdir(‘/server/accesslogs’) # 修改当前的工作目录os.system(‘mkdir today’) # 执行系统命令 mkdir0。
2024-04-27 20:29:18
361
原创 学习：Elasticsearch(1)
自定义动态映射缺省映射分片内部原理发送上述HTTP请求后，Elasticsearch将返回一个包含所有索引的列表。每个索引的信息将以表格形式呈现，包括索引名称、文档数量、主分片数量、副本分片数量等。在上述示例中，每一行表示一个索引的信息。
2024-04-27 13:39:10
635
原创 学习系统编程No
所以在自己使用库的过程之中，其实本质上，就是将别的函数接口包装在一个文件之中，然后为了避免该源码文件的泄露，将该文件生成一个二进制文件，然后当别的文件需要使用这个接口的时候，将这个接口的二进制文件复制到该目标文件所在的路径中，然后将要执行的文件也进行运行，然后将需要使用到的库文件和目标文件加载到内存，最后就可以通过好几个不同的可重定向目标文件生成出一个可执行程序，如下图：
2024-04-27 13:38:08
633
原创 学习css3，使用代码实现一根心爱的二踢脚_css画脚丫
也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-04-27 13:35:48
773
原创 学C++还是学Java？做软件研发还需掌握哪些知识和技能？_c+
最近和一些高校的学生朋友交流，他们打算毕业后从事软件研发的工作，但目前有些困惑和迷茫，他们不太确定今后的学习方向，他们想了解一下软件研发的一些领域的现状及发展前景，想知道应聘软件研发岗位要掌握哪些具体的知识和技能。今天我们就来讲一下从事软件研发工作需要学习哪些主要内容，需要做好哪些方面的技能储备，给高校同学们和中途转行的朋友们提供一个参考。
2024-04-27 13:34:46
555
原创 大数据 数据挖掘 推荐系统 机器学习相关资源_github 大数据推荐系统
合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！推荐系统开源软件列表汇总和评点。
2024-04-27 11:15:13
531
原创 一篇文章搞定一个大数据组件：kudu知识点全集
由于所有插入的数据都是先写入memRowSet，到达一定条件后再写入DiskRowSet，而且DiskRowSet中的basedata是不变的，这就导致会出现数据重叠的现象，导致写或查询时需要搜索大量的DiskRowSet。用于老数据的变更（mutation），后台定期对DiskRowSet做compaction，以删除没用的数据及合并历史数据，减少查询过程中的IO开销。用于DiskRowSet中数据的变更mutation，先写到内存中，写满后flush到磁盘形成RedoFile。
2024-04-27 09:10:27
851
原创 【全栈计划 —— 编程语言之C#】基础入门知识一文懂_vs的蓝色跟紫色
visual studio code集成了所有一款现代编辑器所应该具备的特性，包括语法高亮，可定制的热键绑定，括号匹配以及代码片段收集，这款编辑器也拥有对 Git 的开箱即用的支持。
2024-04-27 07:13:30
964
原创 【c++百日刷题计划】 —(1)
1−51-51−5表示，第555等最重要。他还从因特网上查到了每件物品的价格（都是整数元）。他希望在不超过NNN元（可以等于NNN元）的前提下，使每件物品的价格与重要度的乘积的总和最大。设第jjj件物品的价格为vjv[j]v[j]，重要度为wjw[j]w[j]，共选中了kkk件物品，编号依次为j1j2jkj1,j2,…,jk，则所求的总和为：vj1×wj1vj2×wj2vjk×wjk。
2024-04-27 05:23:03
585
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人