程序员
文章平均质量分 84
普通网友
这个作者很懒,什么都没留下…
展开
-
大数据-kafka学习笔记_error while fetching metadata with correlation id
也可以自定义分区器,自己决定数据要发到哪个分区中。原创 2024-05-15 10:12:58 · 231 阅读 · 0 评论 -
大数据-Hadoop集群搭建(配置免密登录及配置环境)_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一
vi /etc/udev/rules.d/70-persistent-net.rules,以h1为例,将eth0所在行注释或删除,将eth1改为eth0,其他两台一样。h1修改前h1修改后sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0,将HWADDR和UUID所在行删除或注释掉,修改IPADDR。h1静态ip修改。原创 2024-05-15 10:12:21 · 247 阅读 · 0 评论 -
大数据-Hadoop集群搭建(配置免密登录及配置环境)_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一(3)
文件路径解压在该目录下即可。解压可以看到hadoop里面的内容,在sbin目录下有一些脚本,以后会用到。hadoop的内容PATH配置hadoop至此,母版虚拟机已经设置完毕,接下来将进行克隆与整体布局。原创 2024-05-15 10:11:46 · 317 阅读 · 0 评论 -
大数据-Hadoop集群搭建(配置免密登录及配置环境)_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一(2)
今天主要学习了以下内容网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!以下内容[外链图片转存中…(img-eX7u9lYz-1715739046594)]原创 2024-05-15 10:11:09 · 273 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】二十四、kubernetes控制器Daemonset_daemonset deployment(3)
template -required- #定义 Pod 的模板,基于这个模板定义的所有 pod 是一样的。minReadySeconds #当新的 pod 启动几秒种后,再 kill 掉旧的pod。#对于 template 而言,其内部定义的就是 pod,pod 模板是一个独立的对象。k8s-app: fluentd-logging #资源具有的标签。labels: #基于这回模板定义的 pod 具有的标签。metadata #元数据,定义 DaemonSet 名字的。原创 2024-05-15 01:34:32 · 681 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】二十四、kubernetes控制器Daemonset_daemonset deployment(2)
这个镜像启动 pod 会有问题,主要是演示 daemonset 如何在命令行更新 pod 平时不用 都是改yaml。#编写一个 DaemonSet 资源清单 daemonset 也是通过标签选择器来选择模板创建pod。name: fluentd-elasticsearch #资源的名字。k8s-app: fluentd-logging #资源具有的标签。labels: #基于这回模板定义的 pod 具有的标签。#pod 的名字是由控制器的名字-随机数组成的。原创 2024-05-15 01:33:56 · 512 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】二十四、kubernetes控制器Daemonset_daemonset deployment(1)
在集群的每个节点上运行存储,比如:glusterd 或 ceph。在每个节点上运行日志收集组件,比如:flunentd 、 logstash、filebeat 等。在每个节点上运行监控组件,比如:Prometheus、 Node Exporter 、collectd 等。都可以用daemonset去创建运行。原创 2024-05-15 01:33:20 · 390 阅读 · 0 评论 -
【云原生 从零开始学Kubernetes】二、使用kubeadm搭建K8S集群_kubeadm --pod-network-cdr
由于默认拉取镜像地址k8s.gcr.io国内无法访问,这里指定阿里云镜像仓库地址,我们 docker images 命令即可查看已经拉取的镜像。当我们出现下面的情况时,表示kubernetes的镜像已经安装成功 然后用里面提示的命令使用kubectl工具执行完成后,我们使用下面命令,查看我们正在运行的节点能够看到,目前有一个master节点已经运行了,但是还处于未准备状态下面我们还需要在Node节点执行其它的命令,将node1和node2加入到我们的master节点上。原创 2024-05-15 01:32:44 · 853 阅读 · 0 评论 -
Hadoop实战系列之MapReduce 分析 Youtube视频数据_hadoop 怎么解析视频文件(1)
方式二:采用eclipse插件完成上传:这个需要自己先去搭建hadoopEclipse插件,出现管理DFS的页面选项才可以。好了,现在已经完成了编写MR程序代码,导出了jar包,上传了0.txt数据。接下来就可以运行代码了。在终端中输入以下命令,将 0.txt 上传到 HDFS 文件系统。eclipse中选中项目右键 ,在弹出的菜单中选择 Export。上面的路径需要自己定义成自己的,而且需要跟MR代码里面保持一致。编码完成以后,我们可以需要导出jar包。按照如下方式来写对应代码,回车即可。原创 2024-05-14 16:11:57 · 697 阅读 · 0 评论 -
Hadoop安装(比较简单,适合刚入门的小伙伴)_hazop软件安装教程(6)
点击更改设置,需要一下管理员权限点击NAT设置配置一下网关IP,跟图中一样即可一直确定,就配置完成了。原创 2024-05-14 16:11:21 · 920 阅读 · 0 评论 -
Hadoop安装(比较简单,适合刚入门的小伙伴)_hazop软件安装教程(5)
如果是出现蓝屏问题,不要怀疑,下载新版本,然后需要激活码,在网上随便找一个就可以了打开WMware之后,打开虚拟网络编辑器点击更改设置,需要一下管理员权限点击NAT设置配置一下网关IP,跟图中一样即可一直确定,就配置完成了。原创 2024-05-14 16:10:45 · 416 阅读 · 0 评论 -
Hadoop安装(比较简单,适合刚入门的小伙伴)_hazop软件安装教程(4)
配置虚拟机,这里我使用的是VMware先配置一下WMware,如果是出现蓝屏问题,不要怀疑,下载新版本,然后需要激活码,在网上随便找一个就可以了打开WMware之后,打开虚拟网络编辑器点击更改设置,需要一下管理员权限点击NAT设置配置一下网关IP,跟图中一样即可一直确定,就配置完成了。原创 2024-05-14 16:10:09 · 452 阅读 · 0 评论 -
2024年最全性能爆炸!SXSSFWorkbook原文件上追加写入&;分页导出(3),系列教学
(img-7KC1Mn0t-1715643211010)](img-7TBcFbvX-1715643211010)]// 这里业务对象有对应属性,且属性名与columnNam匹配。// 确保工作簿以指定模式打开。原创 2024-05-14 07:33:53 · 655 阅读 · 0 评论 -
2024年最全快速排序图解(两种思想)_如何找出数组的分区点(2),最新BAT大厂面试者整理的大数据开发面试题目
/ 先让j从后向前扫描到第一个 < v的元素停止。// 再让i从前向后扫描到第一个 > v的元素停止。原创 2024-05-14 07:33:17 · 247 阅读 · 0 评论 -
2024年最全快速排序和归并排序非递归的详解_快速排序分递归和非递归(1),2024年最新附项目源码
时间复杂度还是不错的和归并排序递归是一样的都是O(N*logN)。原创 2024-05-14 07:32:41 · 192 阅读 · 0 评论 -
2024年最全微服务项目:尚融宝(44)(核心业务流程(2),面试必备
【代码】2024年最全微服务项目:尚融宝(44)(核心业务流程(2),面试必备。原创 2024-05-14 07:32:05 · 388 阅读 · 0 评论 -
2024年大数据最新JVM——运行时数据区、双亲委派模型、垃圾回收算法,2024年最新大数据开发开发中常见的一些问题面试专题
类加载的机制:双亲委派模型(jdk默认的类加载机制),其它机制(破坏双亲委派模型的其它机制)。BootStrap ClassLoader 启动类加载器(主要负责加载Java核心类库,即%JRE_HOME%\lib目录)ExtClassLoader 扩展类加载器(主要负责加载目录%JRE_HOME%\lib\ext目录下的类)AppClassLoader 系统/应用类加载器(加载当前应用的classpath目录下的类)自定义加载器。原创 2024-05-13 22:45:43 · 876 阅读 · 0 评论 -
2024年大数据最新jdbc插入大量数据时优化处理-最近遇到的解决我一大难题,实战解析
if(i%100 == 0 || i == count(上传文件的总数量)-1){ //解决余数小于100 的问题。System.out.println(“pst:”+(endTime-beginTime)/1000+“秒”);System.out.println(“st:”+(endTime-beginTime)/1000+“秒”);全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**2、使用PreparedStatement对象。性能测试(并发负载压力)测试分析。原创 2024-05-13 22:45:06 · 895 阅读 · 0 评论 -
2024年大数据最新JDBC快速入门(2),大数据开发开发最佳实践手册全网独一份
JDBC就是使用Java语言操作关系型数据库的一套API,全称:( Java DataBase Connectivity ) Java 数据库连接。JDBC中定义了所有操作关系型数据库的规则。原创 2024-05-13 22:44:31 · 296 阅读 · 0 评论 -
2024年大数据最新JDBC快速入门(1),深夜思考
JDBC就是使用Java语言操作关系型数据库的一套API,全称:( Java DataBase Connectivity ) Java 数据库连接。JDBC中定义了所有操作关系型数据库的规则。原创 2024-05-13 22:43:55 · 289 阅读 · 0 评论 -
深入分析JavaWeb Item29 -- 使用JDBC处理大数据(MySql + Oracle)(3)
@Description:替换CLOB对象(将原CLOB对象清除,换成一个全新的CLOB对象)* @Description:替换BLOB对象(将原BLOB对象清除,换成一个全新的BLOB对象)* @Description:修改BLOB对象(是在原BLOB对象基础上进行覆盖式的修改)//4、取出此BLOB对象 ,并强制转换成Oracle的BLOB对象。//3、取出此BLOB对象 ,并强制转换成Oracle的BLOB对象。//4、取出此BLOB对象 ,并强制转换成Oracle的BLOB对象。原创 2024-05-12 19:48:51 · 520 阅读 · 0 评论 -
深入分析JavaWeb Item29 -- 使用JDBC处理大数据(MySql + Oracle)(2)
1、编写SQL测试脚本。原创 2024-05-12 19:48:15 · 1005 阅读 · 0 评论 -
深入分析JavaWeb Item29 -- 使用JDBC处理大数据(MySql + Oracle)(1)
在实际开发中,有时是需要用程序把大文本或二进制数据直接保存到数据库中进行储存的。对MySQL而言只有blob,而没有clob,mysql存储大文本采用的是Text,Text和blob分别又分为:TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXTTINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB。原创 2024-05-12 19:47:39 · 689 阅读 · 0 评论 -
淘宝数据可视化大屏案例(Hadoop实验)_hadoop数据分析可视化案例(2)
(img-iBFUAVKK-1715514382701)](img-1rpNMD7M-1715514382701)](img-3rnWh75a-1715514382701)]#组装source、channel、sink。(SELECT “跳失率”, u.(SELECT “跳失率”, u.SELECT “跳失率”, u.原创 2024-05-12 19:47:02 · 673 阅读 · 0 评论 -
大数据最新自动邮件天气提醒(30分钟Python入门))_自动天气邮件(2),吃一堑长一智
!2.在当前的Python提示符">>>"的右侧输入以下代码,并按下回车键,打印出你的第一行Python代码。跟我练:在命令行中输出如图所示的北京市天气信息,完成后点击【检测任务】按钮,解锁下一任务。今日北京天气晴。原创 2024-05-12 02:39:20 · 325 阅读 · 0 评论 -
大数据最新自动邮件天气提醒(30分钟Python入门))_自动天气邮件(1),2024年最新2024最新中高阶大数据开发面试题总结
走的很快,但一群人才能走的更远!在进行Python程序开发时,有很多第三方的工具包模块可以被开发者直接调用,简单的调用就可以完成平时需要大量代码才能完成的操作,提高开发效率。Python跟我练可以在线输入Python代码,带你快速专注的学习Python知识,快通过右侧在线环境开始你的第一行Python代码吧!2.在当前的Python提示符">>>"的右侧输入以下代码,并按下回车键,打印出你的第一行Python代码。跟我练:在命令行中输出如图所示的北京市天气信息,完成后点击【检测任务】按钮,解锁下一任务。原创 2024-05-12 02:38:44 · 286 阅读 · 0 评论 -
大数据最新职业院校大数据技术——数据挖掘1(2),大厂架构师经验分享
import Bds.DataFrameUtils._ // 这是封装的一个获取各种数据仓库配置项的模块。// 非数值类型的数据需要先进行StringIndexer处理后再进行onehot。// 如果输入字段本身就数字类型,那么稀疏向量的个数是最大值+1,// 定义一个UDF,用于计算两个向量的余弦相似度。* @return 两个列表的杰卡德相似度。// 其实就是把类型改为从0开始的键。// 因为默认从0开始表示第一个类型。* 计算两个列表的杰卡德相似度。// 获取mysql配置项。原创 2024-05-12 02:38:08 · 831 阅读 · 0 评论 -
大数据最新职业院校大数据技术——数据挖掘1(1),2024年最新吃透这份大数据开发高级工程师面试497题解析
转换为x−aby−cd[x, y] 转换为 [(x - a) / b, (y - c) / d][x,y]转换为[(x−a)/b,(y−c)/d]。原创 2024-05-12 02:37:32 · 364 阅读 · 0 评论 -
大数据最全multiprocessing快速入门和总结(1),年末阿里百度等大厂技术面试题汇总
创建多个线程同时调用gpt4翻译,(gpt4调用代码没有贴出来,请自行封装)核心是多线程代码。原创 2024-05-11 17:59:33 · 218 阅读 · 0 评论 -
大数据最全MQ高可用相关设置(2),2024年最新大数据开发面试超详细知识点
生产者设置重试次数。retries>=3,增加重试次数以保证消息的不丢失;三、消费者:通过在Consumer端设置“enable.auto.commit”属性为false后,在代码中手动调用KafkaConsumer实例的方法提交,这里指的是同步阻塞commit消费的偏移量,等待Broker端的返回响应,需要注意Broker端在对commit请求做出响应之前,消费端会处于阻塞状态,从而限制消息的处理性能和整体吞吐量以确保消息能够正常被消费。原创 2024-05-11 17:58:57 · 721 阅读 · 0 评论 -
大数据最全Mapreduce,Spark的区别,Hadoop的简介_spark 和hadoop mapreduce,赶紧收藏备战金三银四
我们通常说到的hadoop包括两部分,一是Hadoop核心技术对应为apache开源社区的一个项目,主要包括三部分内容:hdfs,mapreduce,yarn。其中hdfs用来存储海量数据,mapreduce用来对海量数据进行计算,yarn是一个通用的资源调度框架另一部分指广义的,广义上指一个生态圈,泛指大数据技术相关的开源组件或产品,如hbase、hive、spark、pig、zookeeper、kafka、flume、phoenix、sqoop等。原创 2024-05-11 17:58:20 · 982 阅读 · 0 评论 -
大数据最全MAC M1使用docker 安装es kibana ik分词器(3),2024年最新快速学会
我的路径是/Users/jim/elasticsearch/elasticsearch.yml。我的路径是/Users/jim/elasticsearch/kibana.yml。学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**6.一样提前创建好kibana.yml文件。3.在终端运行以下命令。得到如下图片即安装成功。7.在终端运行以下命令。9.安装ik分词器插件。5.安装kibana。找到8.6.2版本的。原创 2024-05-11 17:57:44 · 312 阅读 · 0 评论 -
【编程基础】如何自学计算机 编程 从零开始的代码之路_从零开始学代码(1)
经典算法,包括递归与分治算法、动态规划算法、贪心算法、回溯算法、分支界限算法的基本原理、实现方法和应用实例,使之熟悉算法复杂性分析理论和评价算法性能的标准,掌握基本的算法设计方法,能运用一些常用算法去分析和解决实际问题,具有较强的问题抽象和建模的能力,可以进一步分析和解决计算机科学与技术领域的复杂工程问题奠定良好的基础。编程语言处在不断的发展和变化中,从最初的机器语言发展到如今的2500种以上的高级语言,每种语言都有其特定的用途和不同的发展轨迹。选择合适的语言更有助于编程的学习和方便快捷的工作。原创 2024-05-11 04:04:58 · 925 阅读 · 0 评论 -
【编码规范篇】 C#编码规范 代码规范总结,包括命名规范,代码规范 注释规范等_c
本文整理了一些C#中较为常用的一些编码规范,目的是能够让我们编写出更优美简洁的代码。多数的规范并没有强制性,只是作为一个样例模板以供参考学习使用。尤其是对于新手来说,在前期编写代码的过程中养成一个好的习惯,后面就可以完全放飞自我啦。如果文中哪里有错误或者有更好的解决方案,也希望可以指出共同进步~部分内容参考链接C# 7 草稿规范。原创 2024-05-11 04:04:22 · 753 阅读 · 0 评论 -
【编码规范篇】 C#编码规范 代码规范总结,包括命名规范,代码规范 注释规范等_c(2)
若要通过跳过不必要的比较来避免异常并提高性能,请在执行比较时使用。正例:MAX_XIAOY_COUNT。反例:MAX_xiaoy_COUNT。(而不是 |),如下面的示例所示。原创 2024-05-11 04:03:46 · 619 阅读 · 0 评论 -
【编码规范篇】 C#编码规范 代码规范总结,包括命名规范,代码规范 注释规范等_c(1)
工程调用方法是,不进入方法,即可悬浮提示方法、参数、返回值的意义,提高阅读效率。4.捕获异常是为了处理它,不要捕获了却什么都不处理而抛弃之,如果不想处理它,就将该异常抛给他的调用者。完全没有注释的大段代码,对于阅读者形同天书,注释是给自己看的,即使隔很长时间,也能够清晰理解当时的思路;10.代码修改的同事,注释也要进行相应的修改,预期是参数、返回值、异常、核心逻辑等的修改。如果创建委托类型的实例,请使用简洁的语法。注释,除了返回值、参数、异常说明外,还必须指出该方法做了什么事,实现了什么功能。原创 2024-05-11 04:03:10 · 970 阅读 · 0 评论 -
VMware搭建Hadoop集群 for Windows(完整详细,实测可用)_vmware安装hadoop教程(1)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!这里选择提前下载好的CentOS镜像:点击开启此虚拟机Enter回车,开始安装CentOS镜像:选择语言:设置日期:安装位置点进去,点击完成:KDUMP禁用:网络和主原创 2024-05-10 19:25:52 · 2134 阅读 · 0 评论 -
VisualVM【实践 01】工具VisualVM下载使用及插件Visual GC示例说明HashMap初始化容量initialCapacity的影响(源码及visualvm_215
来自官网的介绍:VisualVM 是一个集成命令行 JDK 工具和轻量级概要分析功能的可视化工具。设计用于开发和生产时使用。对比一下JDK自带版本和下载的最新版本区别:JDK自带版本为汉化版本安装的插件版本不同UI新版本稍好(JDK8可是6年前的东西了)原创 2024-05-10 19:25:16 · 302 阅读 · 0 评论 -
Vineyard 加入 CNCF Sandbox,将继续瞄准云原生大数据分析领域(2)
有了这些数据类型的抽象,Vineyard 上的不同计算引擎之间就可以无缝地共享中间结果,将一个任务的输出直接用作下一个任务的输出。在云环境中,一个端到端流水线中包含的多个子任务在被 Kubernetes 调度时仅仅考虑了需要的资源约束,连续的两个任务的 co-locate 无法保证,在两个任务之间共享中间结果时仍然有数据迁移引入的网络开销,如下图,在运行 Task B 时,因为两个任务的 Pod 没有对齐,数据分片 A3、A4 需要被迁移到 Pod 所在的 Vineyard 实例上。原创 2024-05-10 19:24:40 · 789 阅读 · 0 评论 -
Vineyard 加入 CNCF Sandbox,将继续瞄准云原生大数据分析领域(1)
在云环境中,一个端到端流水线中包含的多个子任务在被 Kubernetes 调度时仅仅考虑了需要的资源约束,连续的两个任务的 co-locate 无法保证,在两个任务之间共享中间结果时仍然有数据迁移引入的网络开销,如下图,在运行 Task B 时,因为两个任务的 Pod 没有对齐,数据分片 A3、A4 需要被迁移到 Pod 所在的 Vineyard 实例上。现有的分布式文件系统在共享中间数据时,特别是在云原生环境下,并没有很好的处理分布式数据的位置问题,造成网络开销的浪费,从而降低端到端执行效率。原创 2024-05-10 19:24:04 · 895 阅读 · 0 评论