- 博客(170)
- 收藏
- 关注
RSS订阅原创 最新CDH大数据集群Linux系统参数调优_cdh磁盘刷新 很高(1)，20道高频面试题（含答案）
swap即交换空间，作用类似于Windows中的虚拟内存，也就是当物理内存不足时，将硬盘上的swap分区当做内存来使用。但是，由于磁盘的读写速率与内存相比差太多，一旦发生大量交换，系统延迟就会增加，甚至会造成服务长期不可用，这对于大数据集群而言是致命的。vm.swappiness参数用于控制内核对交换空间的使用积极性，默认是60。值越高，就代表内核越多地使用交换空间。对于内存较大的CDH集群，我们一般将这个值设为0或1。
2024-05-16 05:50:05
841
原创 最新CDH6，4个改变你编程技能的小技巧
红框里面的是下载下来，重命名，解压放到 flink-parcel目录里面的。黄框里的是后面制作是生成的。下载好的包放入flink-parcel目录里面需要将名字和图片一致。用到的命令：mvn -version #验证本地maven安装环境变量配置是否OK.unzip flink-parcel-master.zip # 解压包到当前目录mv ./flink-parcel-master/* ./ flink-parcel #重命名。
2024-05-16 05:49:32
1074
原创 最新C++这么难，为什么我们还要学习C+(1)，2024年最新写给即将正在找工作的大数据开发攻城狮
C++ 可算是一种声名在外的编程语言了。这个名声有好有坏，从好的方面讲，C++ 性能非常好，哪个编程语言性能好的话，总忍不住要跟 C++ 来单挑一下；从坏的方面讲，它是臭名昭著的复杂、难学、难用。当然，这样一来，熟练的 C++ 程序员也就自然而然获得了 “水平很高” 的名声，所以这也不完全是件坏事。不管说 C++ 是好还是坏，不可否认的是，C++ 仍然是一门非常流行且非常具有活力的语言。
2024-05-16 05:48:59
1086
原创 大数据最新数据结构——单链表的基本操作_数据结构单链表的相关操作(1)，字节跳动大数据开发研发岗这些知识点内部泄露出来了
（4）单链表尾插，在对表链表进行尾删的操作时，只需要两个节点，这里最难的是找尾，我们定义tail->next为尾，同时还要注意链表为空和顺序表为空的区别，同时使用二级指针来进行传递形参指向的内容。（9）单链表在pos位置之后插入x，给出的位置不再是下标，而是指针，注意地址的衔接情况，这里可以不用二级指针，这里改变的是结构体，只需要结构体指针就可以了。（7）单链表头删，删除时需要断言一下，不能直接删，不然的话找不到下一个的地址，我们可以保存下一个，之后指向下一个就解决了，这就是单链表的优势所在。
2024-05-15 21:02:37
265
原创 大数据最新数据结构--二叉树_#include 二叉树(1)，超通俗解析
由于现在大家对二 叉树结构掌握还不够深入，为了降低大家学习成本，此处手动快速创建一棵简单的二叉树，快速进入二叉树 操作学习，等二叉树结构了解的差不多时，我们反过头再来研究二叉树真正的创建方式。这里我们从倒数的第一个非叶子节点的 子树开始调整，一直调整到根节点的树，就可以调整成堆。这里是用数组实现二叉树的堆，物理结构与逻辑结构是不同的，所以实现代码的时候我们将数组已划分成二叉树数形式来进行逻辑上编写。删除堆是删除堆顶的数据，将堆顶的数据根最后一个数据一换，然后删除数组最后一个数据，再进行向下调 整算法。
2024-05-15 21:02:04
232
原创 大数据最新数据结构 后缀表达式【深入剖析堆栈原理】_后缀表达式原理，996页阿里大数据开发面试真题解析火爆全网
if (e == ‘*’ || e == ‘/’) //将栈顶’*‘或’/‘运算符出栈并存放到postexp中。if (e == ‘*’ || e == ‘/’) //将栈顶’*‘或’/‘运算符出栈并存放到postexp中。//–运算符栈基本运算---------------------------------------//–操作数栈基本运算---------------------------------------while (*exp >= ‘0’ && *exp
2024-05-15 21:01:31
399
原创 大数据最新数据湖及湖仓一体化项目学习框架_湖仓一体 搭建(3)，2024年最新997页手淘大数据开发面试真题解析火爆全网
7.数据湖技术Hudi MOR表类型详解8.数据湖技术Hudi 查询类型详解9.数据湖技术Hudi与Spark框架整合10.数据湖技术Hudi增删改查实战操作11.数据湖技术Hudi覆盖分区和表数据12.数据湖技术Hudi与Hive框架深度整合13.数据湖技术Hudi与Flink框架深度整合这里不再赘述，Iceberg就是典型的数据湖技术，支持批数据和流式数据的存储，同时还支持高效的OLAP分析查询。1.什么是数据湖2.大数据为什么需要数据湖3.Iceberg概念及特点。
2024-05-15 21:00:57
388
原创 大数据-kafka学习笔记_error while fetching metadata with correlation id
也可以自定义分区器，自己决定数据要发到哪个分区中。
2024-05-15 10:12:58
339
原创 大数据-Hadoop集群搭建（配置免密登录及配置环境）_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一
vi /etc/udev/rules.d/70-persistent-net.rules，以h1为例，将eth0所在行注释或删除，将eth1改为eth0，其他两台一样。h1修改前h1修改后sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0，将HWADDR和UUID所在行删除或注释掉，修改IPADDR。h1静态ip修改。
2024-05-15 10:12:21
316
原创 大数据-Hadoop集群搭建（配置免密登录及配置环境）_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一(3)
文件路径解压在该目录下即可。解压可以看到hadoop里面的内容，在sbin目录下有一些脚本，以后会用到。hadoop的内容PATH配置hadoop至此，母版虚拟机已经设置完毕，接下来将进行克隆与整体布局。
2024-05-15 10:11:46
355
原创 大数据-Hadoop集群搭建（配置免密登录及配置环境）_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一(2)
今天主要学习了以下内容网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！以下内容[外链图片转存中…(img-eX7u9lYz-1715739046594)]
2024-05-15 10:11:09
321
原创 【云原生 从零开始学Kubernetes】二十四、kubernetes控制器Daemonset_daemonset deployment(3)
template -required- #定义 Pod 的模板，基于这个模板定义的所有 pod 是一样的。minReadySeconds #当新的 pod 启动几秒种后，再 kill 掉旧的pod。#对于 template 而言，其内部定义的就是 pod，pod 模板是一个独立的对象。k8s-app: fluentd-logging #资源具有的标签。labels: #基于这回模板定义的 pod 具有的标签。metadata #元数据，定义 DaemonSet 名字的。
2024-05-15 01:34:32
713
原创 【云原生 从零开始学Kubernetes】二十四、kubernetes控制器Daemonset_daemonset deployment(2)
这个镜像启动 pod 会有问题，主要是演示 daemonset 如何在命令行更新 pod 平时不用 都是改yaml。#编写一个 DaemonSet 资源清单 daemonset 也是通过标签选择器来选择模板创建pod。name: fluentd-elasticsearch #资源的名字。k8s-app: fluentd-logging #资源具有的标签。labels: #基于这回模板定义的 pod 具有的标签。#pod 的名字是由控制器的名字-随机数组成的。
2024-05-15 01:33:56
545
原创 【云原生 从零开始学Kubernetes】二十四、kubernetes控制器Daemonset_daemonset deployment(1)
在集群的每个节点上运行存储，比如：glusterd 或 ceph。在每个节点上运行日志收集组件，比如：flunentd 、 logstash、filebeat 等。在每个节点上运行监控组件，比如：Prometheus、 Node Exporter 、collectd 等。都可以用daemonset去创建运行。
2024-05-15 01:33:20
423
原创 【云原生 从零开始学Kubernetes】二、使用kubeadm搭建K8S集群_kubeadm --pod-network-cdr
由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址，我们 docker images 命令即可查看已经拉取的镜像。当我们出现下面的情况时，表示kubernetes的镜像已经安装成功 然后用里面提示的命令使用kubectl工具执行完成后，我们使用下面命令，查看我们正在运行的节点能够看到，目前有一个master节点已经运行了，但是还处于未准备状态下面我们还需要在Node节点执行其它的命令，将node1和node2加入到我们的master节点上。
2024-05-15 01:32:44
891
原创 Hadoop实战系列之MapReduce 分析 Youtube视频数据_hadoop 怎么解析视频文件(1)
方式二：采用eclipse插件完成上传：这个需要自己先去搭建hadoopEclipse插件，出现管理DFS的页面选项才可以。好了，现在已经完成了编写MR程序代码，导出了jar包，上传了0.txt数据。接下来就可以运行代码了。在终端中输入以下命令，将 0.txt 上传到 HDFS 文件系统。eclipse中选中项目右键 ，在弹出的菜单中选择 Export。上面的路径需要自己定义成自己的，而且需要跟MR代码里面保持一致。编码完成以后，我们可以需要导出jar包。按照如下方式来写对应代码，回车即可。
2024-05-14 16:11:57
739
原创 Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程(6)
点击更改设置，需要一下管理员权限点击NAT设置配置一下网关IP，跟图中一样即可一直确定，就配置完成了。
2024-05-14 16:11:21
976
原创 Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程(5)
如果是出现蓝屏问题，不要怀疑，下载新版本，然后需要激活码，在网上随便找一个就可以了打开WMware之后，打开虚拟网络编辑器点击更改设置，需要一下管理员权限点击NAT设置配置一下网关IP，跟图中一样即可一直确定，就配置完成了。
2024-05-14 16:10:45
465
原创 Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程(4)
配置虚拟机，这里我使用的是VMware先配置一下WMware，如果是出现蓝屏问题，不要怀疑，下载新版本，然后需要激活码，在网上随便找一个就可以了打开WMware之后，打开虚拟网络编辑器点击更改设置，需要一下管理员权限点击NAT设置配置一下网关IP，跟图中一样即可一直确定，就配置完成了。
2024-05-14 16:10:09
506
原创 2024年最全性能爆炸！SXSSFWorkbook原文件上追加写入&；分页导出(3)，系列教学
(img-7KC1Mn0t-1715643211010)](img-7TBcFbvX-1715643211010)]// 这里业务对象有对应属性，且属性名与columnNam匹配。// 确保工作簿以指定模式打开。
2024-05-14 07:33:53
1478
原创 2024年最全快速排序图解（两种思想）_如何找出数组的分区点(2)，最新BAT大厂面试者整理的大数据开发面试题目
/ 先让j从后向前扫描到第一个 < v的元素停止。// 再让i从前向后扫描到第一个 > v的元素停止。
2024-05-14 07:33:17
298
原创 2024年最全快速排序和归并排序非递归的详解_快速排序分递归和非递归(1)，2024年最新附项目源码
时间复杂度还是不错的和归并排序递归是一样的都是O(N*logN)。
2024-05-14 07:32:41
216
原创 2024年最全微服务项目：尚融宝（44）（核心业务流程(2)，面试必备
【代码】2024年最全微服务项目：尚融宝（44）（核心业务流程(2)，面试必备。
2024-05-14 07:32:05
452
原创 2024年大数据最新JVM——运行时数据区、双亲委派模型、垃圾回收算法，2024年最新大数据开发开发中常见的一些问题面试专题
类加载的机制：双亲委派模型（jdk默认的类加载机制），其它机制（破坏双亲委派模型的其它机制）。BootStrap ClassLoader 启动类加载器（主要负责加载Java核心类库，即%JRE_HOME%\lib目录）ExtClassLoader 扩展类加载器（主要负责加载目录%JRE_HOME%\lib\ext目录下的类）AppClassLoader 系统/应用类加载器（加载当前应用的classpath目录下的类）自定义加载器。
2024-05-13 22:45:43
924
原创 2024年大数据最新jdbc插入大量数据时优化处理-最近遇到的解决我一大难题，实战解析
if(i%100 == 0 || i == count(上传文件的总数量)-1){ //解决余数小于100 的问题。System.out.println(“pst:”+(endTime-beginTime)/1000+“秒”);System.out.println(“st：”+(endTime-beginTime)/1000+“秒”);全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**2、使用PreparedStatement对象。性能测试(并发负载压力)测试分析。
2024-05-13 22:45:06
943
原创 2024年大数据最新JDBC快速入门(2)，大数据开发开发最佳实践手册全网独一份
JDBC就是使用Java语言操作关系型数据库的一套API，全称：( Java DataBase Connectivity ) Java 数据库连接。JDBC中定义了所有操作关系型数据库的规则。
2024-05-13 22:44:31
326
原创 2024年大数据最新JDBC快速入门(1)，深夜思考
JDBC就是使用Java语言操作关系型数据库的一套API，全称：( Java DataBase Connectivity ) Java 数据库连接。JDBC中定义了所有操作关系型数据库的规则。
2024-05-13 22:43:55
319
原创 深入分析JavaWeb Item29 -- 使用JDBC处理大数据（MySql + Oracle）(3)
@Description:替换CLOB对象（将原CLOB对象清除，换成一个全新的CLOB对象）* @Description:替换BLOB对象（将原BLOB对象清除，换成一个全新的BLOB对象）* @Description:修改BLOB对象（是在原BLOB对象基础上进行覆盖式的修改）//4、取出此BLOB对象 ，并强制转换成Oracle的BLOB对象。//3、取出此BLOB对象 ，并强制转换成Oracle的BLOB对象。//4、取出此BLOB对象 ，并强制转换成Oracle的BLOB对象。
2024-05-12 19:48:51
598
原创 深入分析JavaWeb Item29 -- 使用JDBC处理大数据（MySql + Oracle）(1)
在实际开发中，有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的。对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，Text和blob分别又分为：TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXTTINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB。
2024-05-12 19:47:39
716
原创 淘宝数据可视化大屏案例(Hadoop实验)_hadoop数据分析可视化案例(2)
(img-iBFUAVKK-1715514382701)](img-1rpNMD7M-1715514382701)](img-3rnWh75a-1715514382701)]#组装source、channel、sink。(SELECT “跳失率”, u.(SELECT “跳失率”, u.SELECT “跳失率”, u.
2024-05-12 19:47:02
726
原创 大数据最新自动邮件天气提醒(30分钟Python入门))_自动天气邮件(2)，吃一堑长一智
!2.在当前的Python提示符">>>"的右侧输入以下代码，并按下回车键，打印出你的第一行Python代码。跟我练：在命令行中输出如图所示的北京市天气信息，完成后点击【检测任务】按钮，解锁下一任务。今日北京天气晴。
2024-05-12 02:39:20
351
原创 大数据最新自动邮件天气提醒(30分钟Python入门))_自动天气邮件(1)，2024年最新2024最新中高阶大数据开发面试题总结
走的很快，但一群人才能走的更远！在进行Python程序开发时，有很多第三方的工具包模块可以被开发者直接调用，简单的调用就可以完成平时需要大量代码才能完成的操作，提高开发效率。Python跟我练可以在线输入Python代码,带你快速专注的学习Python知识，快通过右侧在线环境开始你的第一行Python代码吧！2.在当前的Python提示符">>>"的右侧输入以下代码，并按下回车键，打印出你的第一行Python代码。跟我练：在命令行中输出如图所示的北京市天气信息，完成后点击【检测任务】按钮，解锁下一任务。
2024-05-12 02:38:44
312
原创 大数据最新职业院校大数据技术——数据挖掘1(2)，大厂架构师经验分享
import Bds.DataFrameUtils._ // 这是封装的一个获取各种数据仓库配置项的模块。// 非数值类型的数据需要先进行StringIndexer处理后再进行onehot。// 如果输入字段本身就数字类型，那么稀疏向量的个数是最大值+1，// 定义一个UDF，用于计算两个向量的余弦相似度。* @return 两个列表的杰卡德相似度。// 其实就是把类型改为从0开始的键。// 因为默认从0开始表示第一个类型。* 计算两个列表的杰卡德相似度。// 获取mysql配置项。
2024-05-12 02:38:08
866
原创 大数据最新职业院校大数据技术——数据挖掘1(1)，2024年最新吃透这份大数据开发高级工程师面试497题解析
转换为x−aby−cd[x, y] 转换为 [(x - a) / b, (y - c) / d][x,y]转换为[(x−a)/b,(y−c)/d]。
2024-05-12 02:37:32
393
原创 大数据最全multiprocessing快速入门和总结(1)，年末阿里百度等大厂技术面试题汇总
创建多个线程同时调用gpt4翻译，（gpt4调用代码没有贴出来，请自行封装）核心是多线程代码。
2024-05-11 17:59:33
246
原创 大数据最全MQ高可用相关设置(2)，2024年最新大数据开发面试超详细知识点
生产者设置重试次数。retries>=3，增加重试次数以保证消息的不丢失；三、消费者：通过在Consumer端设置“enable.auto.commit”属性为false后，在代码中手动调用KafkaConsumer实例的方法提交,这里指的是同步阻塞commit消费的偏移量，等待Broker端的返回响应，需要注意Broker端在对commit请求做出响应之前，消费端会处于阻塞状态，从而限制消息的处理性能和整体吞吐量以确保消息能够正常被消费。
2024-05-11 17:58:57
782
原创 大数据最全Mapreduce,Spark的区别，Hadoop的简介_spark 和hadoop mapreduce，赶紧收藏备战金三银四
我们通常说到的hadoop包括两部分，一是Hadoop核心技术对应为apache开源社区的一个项目，主要包括三部分内容：hdfs，mapreduce，yarn。其中hdfs用来存储海量数据，mapreduce用来对海量数据进行计算，yarn是一个通用的资源调度框架另一部分指广义的，广义上指一个生态圈，泛指大数据技术相关的开源组件或产品，如hbase、hive、spark、pig、zookeeper、kafka、flume、phoenix、sqoop等。
2024-05-11 17:58:20
1075
原创 大数据最全MAC M1使用docker 安装es kibana ik分词器(3)，2024年最新快速学会
我的路径是/Users/jim/elasticsearch/elasticsearch.yml。我的路径是/Users/jim/elasticsearch/kibana.yml。学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**6.一样提前创建好kibana.yml文件。3.在终端运行以下命令。得到如下图片即安装成功。7.在终端运行以下命令。9.安装ik分词器插件。5.安装kibana。找到8.6.2版本的。
2024-05-11 17:57:44
353
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人