- 博客(70)
- 收藏
- 关注
RSS订阅原创 最新Spark与flink计算引擎工作原理(3)，我的头条面试经历分享
Driver:Spark中的Driver是运行上述Application的main函数，运行main函数会创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中SparkContext负责与ClusterManager通信，进行资源申请、任务的分配和监控等，当Executor部分运行完毕后，Driver同时负责将SparkContext关闭，通常用SparkContext代表Driver。ApplicationMaster介绍。
2024-05-16 06:46:22
774
原创 最新ResNet实战：tensorflow2，大数据开发工程师面试题及答案
),])])写了两个数据增强，一个是用于训练，一个用于验证。验证集只需要对图片做归一化处理。第四步 定义图像处理的方法generator的主要作用是处理图像，并迭代的方式返回一个batch的图像以及对应的label。思路：在while循环：初始化input_samples和input_labels，连个list分别用来存放image和image对应的标签。分别从file_pathList和labels，得到图片的路径和对应的label读取图片。
2024-05-16 06:45:16
752
原创 最新Redis的五种数据结构分析_redis hash len(1)，字节跳动大神讲座
Redis本身是一个Map，其中所有的数据都是采用key：value的形式存储这里的数据类型主要是指存储的，也即是value的数据类型，key的数据类型永远都是StringStringListHashSet一、Stringredis是使用C语言开发，但C中并没有String类型，只能使用指针或字符数组的形式表示一个字符串，所以redis设计了一种简单动态字符串(SDS[Simple Dynamic String])作为底层实现。
2024-05-16 06:44:43
607
原创 大数据趣味学习探讨（二）：我是怎么坚持学习的_怎么进入北京大数据研究院(1)
2.1、调研日前，北京大数据研究院联合大数据分析与应用技术国家工程实验室、北京治数科技有限公司共同发布了《2022年中国大数据产业发展指数报告》。研究团队在2020年、2021年连续发布大数据产业发展指数的基础上，深入调研了各地大数据政策环境、大数据产业和企业发展状况，基于自身企业库中收录的 7472 家大数据企业数据和相关合作方数据，对全国 31 个省级行政区（不包含港澳台地区）和 150个 重点城市的大数据产业发展情况进行综合评估。
2024-05-15 21:58:28
603
原创 大数据趣味学习探讨（三）：怎么确定学习目标_对大数据研究性学习的目标
战点就是战斗的机会举个案例：根本轮不到你奋斗有一个真相，年轻人必须明白，而且越早明白越好，那就是拼命不可怕，加班不可怕，辛苦也不可怕，真正可怕的是根本轮不到你去拼命。肩膀脱臼不可怕，绷带上场不可怕，单场跑动16公里也不可怕，真正可怕的是直到哨声响起，你都没有等到一次上场的机会啊。你准备了一辈子，却发现根本没有证明自己的机会，你想去拼尽全力，却发现赛场从头到尾根本不需要你，这个才是要命。日本文学当中有一个词叫战点，什么意思呢？就是战斗的机会。你知道日本人的平均战点是多少岁？
2024-05-15 21:57:55
779
原创 大数据开发要学会看yarn日志：Task容错机制，任务推测执行，计数器_yarn job 日志 task 日志
1.任务实例attempt长时间没有向MRAPPMaster报告，后者一直没收到其进度的更新，一般attempt实例与APPMaster3s通信一次，前者像后者报告任务进度和状态；超出阈值，任务变会被认为僵死“”被标记失败failed，然后MRAPPMaster会将其JVM杀死，释放资源。对于后者，一般是由于作业被杀死或者该任务的备任任务（推测执行）已经执行完成，这个任务不需要继续执行了，所以被Killed。其他再比如任务执行超出某些阈值范围，比如动态分区超过最大文件数，所有任务都会被杀死killed.
2024-05-15 11:14:33
328
原创 大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)_a)将三台虚拟机恢复到快照“大数据环境启动完成”
vim 文件名1 vim 没有的文件名2 编辑内容2.1 输出一行语句2.2 复制粘贴 2.1内容 19次2.3 保存且退出3 查看vim 文件名 +行数:%s///g:%s/旧文本/新文本/g😒/旧文本/新文本/g:%s/旧文本/新文本/gc。
2024-05-15 11:13:57
282
原创 大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)_a)将三台虚拟机恢复到快照“大数据环境启动完成”(3)
在工作中, 要对 服务器上的文件进行 简单 的修改, 可以使用 ssh 登录到远程服务器上, 并且使用 vi编辑器 进行简单的编辑即可需要修改的文件包括源代码配置文件例如: tomcat服务器的配置文件例如: 网卡信息的配置文件在没有图形界面的环境下, 要编辑文件, vi是最佳选择每一个使用linux的程序员,都应该或多或少的学习一些vi的常用命令。
2024-05-15 11:13:20
220
原创 大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)_a)将三台虚拟机恢复到快照“大数据环境启动完成”(2)
crontab 进行 定时任务的设置crontab 进行 定时任务的设置。
2024-05-15 11:12:41
648
原创 【大数据安全-Kerberos】Kerberos常见问题及解决方案_gss initiate failed(4)
此消息表明一个操作尝试要求以 Kerberos 的 user/host@realm 身份认证的操作，但票据 cache 中没有用于 user/host@realm 的票据。hostname或要访问的URL与keytab中列出的主机之间发生主机名不匹配。网络连接问题，可能是由于使用UDP与KDC通信引起的尝试使用请求的KDC中存在的keytab中的Principal名称来kinit，但该keytab是从其他KDC生成的。
2024-05-15 02:35:55
705
原创 【大数据安全-Kerberos】Kerberos常见问题及解决方案_gss initiate failed(3)
尝试使用请求的KDC中存在的keytab中的Principal名称来kinit，但该keytab是从其他KDC生成的。尝试在使用Kerberos的群集（例如throughBDR）之间复制数据时，这两个群集都使用相同的领域名称，但使用不同的KDC如果正向和反向DNS解析不一致，则会发生这种情况。请参阅配置Kerberos客户端配置krb5.conf以使用TCP和/或调查网络问题。请参阅在与KDC通信时强制Kerberos客户端使用TCPa-d:确保服务的主机名，URL，通信的NIC和keytab匹配。
2024-05-15 02:35:19
1089
原创 【大数据安全-Kerberos】Kerberos常见问题及解决方案_gss initiate failed(2)
从Cloudera Manager中，导航到 管理>安全性 ，然后单击 导入Kerberos帐户管理器凭据以将管理凭据重新导入到Cloudera Manager中。确保主机名解析为与KDC和其他服务通信的服务的IP。查看：错误：访问Oozie WebUI时出现“ HTTP状态401”至少升级到JDK8的51更新请参阅。
2024-05-15 02:34:43
898
原创 【大数据安全-Kerberos】Kerberos常见问题及解决方案_gss initiate failed(1)
配置Kerberos客户端配置krb5.conf以使用TCP和/或调查网络问题。请参阅在与KDC通信时强制Kerberos客户端使用TCPa-d:确保服务的主机名，URL，通信的NIC和keytab匹配。从Cloudera Manager中，导航到 管理>安全性 ，然后单击 导入Kerberos帐户管理器凭据以将管理凭据重新导入到Cloudera Manager中。确保主机名解析为与KDC和其他服务通信的服务的IP。查看：错误：访问Oozie WebUI时出现“ HTTP状态401”
2024-05-15 02:34:07
962
原创 java程序员一定要学会的骚操作“Redis的五大数据类型实现原理”(1)
hashtable 编码的集合对象使用 字典作为底层实现，字典的每个键都是一个字符串对象，这里的每个字符串对象就是一个集合中的元素，而字典的值则全部设置为 null。对于 embstr 编码，由于 Redis 没有对其编写任何的修改程序（embstr 是只读的），在对embstr对象进行修改时，都会先转化为raw再进行修改，因此，只要是修改embstr对象，修改后的对象一定是raw的，无论是否达到了44个字节。注意集合和列表的区别：集合中的元素是无序的，因此不能通过索引来操作元素；集合中的元素不能有重复。
2024-05-14 17:14:09
391
原创 Java私活200元，完成JavaSwing学生成绩管理系统（三）_学生成绩管理系统javaswing
config：包含一些系统的配置文件，比如这个系统的启动端口，连接的数据库target：程序的主体（jar文件）bat：两个bat文件都可以用来启动这个项目用的其中就是服务方式启动，缺点是双击后没有反应，优点是后台会一直启动。start-terminal（推荐）是控制台启动，双击后弹出一个控制台黑框框，关掉控制台后系统就关掉了。
2024-05-14 17:13:33
704
原创 Java知识面试题复习（四）Java常用API_我觉得如果别人问这个问题的话,回答不可变就可以了
字符串常量池位于堆内存中，专门用来存储字符串常量，可以提高内存的使用率，避免开辟多块空间存储相同的字符串，在创建字符串时 JVM 会首先检查字符串常量池，如果该字符串已经存在池中，则返回它的引用，如果不存在，则实例化一个字符串放到池中，并返回其引用。String真的是不可变的吗？我觉得如果别人问这个问题的话，回答不可变就可以了。
2024-05-14 17:12:57
886
原创 Java知识面试题复习（六）集合容器概述_java 的集合(collection)容器中,适于顺序遍历与随机插入的为
它减少了程序设计的辛劳。集合框架通过提供有用的数据结构和算法使你能集中注意力于你的程序的重要部分上，而不是为了让程序能正常运转而将注意力于低层设计上。通过这些在无关API之间的简易的互用性，使你免除了为改编对象或转换代码以便联合这些API而去写大量的代码。它提高了程序速度和质量。
2024-05-14 17:12:21
1031
原创 2024年最新C · 初阶 分支语句（选择结构）(2)，2024年最新35岁以上程序员求职没市场
C语句表达式语句函数调用语句控制语句复合语句空语句本文介绍的是控制语句控制语句用于控制程序的执行流程，以实现程序的各种结构方式（C语言支持三种结构：顺序结构、选择结构、循环结构），它们由特定的语句定义符组成，C语言有九种控制语句可分成以下三类：if语句、switch语句do while语句、while语句、for语句break语句、goto语句、continue语句、return语句。
2024-05-14 08:35:33
306
原创 2024年最新C C++学习路线总结与分享(2)，2024年最新字节跳动架构师讲解大数据开发开发
在CSDN上认识了很多学习C/C++在校朋友，他们在和我交流时时常会问有没有好的C/C++学习路线推荐，目前的博客内容主要面向有工作经验的人，针对初学者的文章写的比较少。因为大家问的比较多，最近正好有时间，就详细地思考了一下这个学习路线的问题。作为IT行业的从业者，结合多年的实战经验，给大家大概地总结一下C/C++学习路线方面的内容，以供广大C/C++初学者借鉴和参考！C/C++的知识点与学习路线图总体如下所示：在这里，给大家（该专栏订阅量接近350个，有很强的实战参考价值，广受好评！
2024-05-14 08:34:57
625
原创 2024年最新C C++中的内存管理_c语言函数临时变量分配在哪，已整理成文档
对于自定义类型：new创建对象时不仅会开辟空间，还会调用它的构造函数.而malloc不会调用构造函数，这是重要的区别之一.class Testpublic:Test(): _data(0)~Test()private:int _data;int main()//C语言创建//C++创建对象//1.堆上申请空间2.调用其构造函数return 0;可以看到malloc的对象并没有初始化，即并没有调用构造函数.而new的对象调用了构造函数被成功初始化为0.同时。
2024-05-14 08:34:21
594
原创 2024年最新AI绘画普及课【二】文生图入门_平铺 分块 (tiling)(1)，2024年最新2024腾讯大数据开发面试题精选
比如：白天、阳光、蓝天、多云的天空。
2024-05-14 08:33:44
593
原创 2024年大数据最新【Flink】（05）Apache Flink 漫谈系列 (1)，算法+分布式+微服务
** key字段的列表, FlatFieldDescriptor 描述了每个key, 在所在类型中的位置以及key自身的数据类信息 *//** 读取输入转换的输出类型, 如果是MissingTypeInfo, 则及时抛出异常, 终止操作 *//** 根据提取的key，最大并行度，以及输出通道数，决定出record要转发到的通道编号 *//** 包含key的数据类型的类型信息, 与构造函数入参中的字段顺序一一对应 *//** 通过keySelector从传入的record中提取出对应的key */
2024-05-13 23:47:20
1875
原创 2024年大数据最新【Flink SQL】Flink SQL 基础概念（一）(1)，震撼发布
/ 将 table2 的结果使用 Table API 写入 outputTable 中，并返回结果。.inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。需要外部 Catalog 持久化！//.inBatchMode() // 声明为批任务。//.inBatchMode() // 声明为批任务。需要外部 Catalog 持久化！
2024-05-13 23:46:44
815
原创 2024年大数据最新【elasticsearch实战】从零开始设计全站搜索引擎(4)，大数据开发小程序开发实例
dts适配kafka2logstash。
2024-05-13 23:46:08
660
原创 2024年大数据最新【elasticsearch实战】从零开始设计全站搜索引擎(3)，2024年最新2024最新阿里大数据开发面试流程
读取kafka写入kafka2input来源于kafka2输出到kafka1腾讯云 DTS-kafka1MySQLdts适配kafka2logstash。
2024-05-13 23:45:31
801
原创 第二届数据安全大赛暨首届“数信杯”数据安全大赛数据安全积分争夺赛-东区预赛部分WP
（最终提交的结果为md5(不安全协议缩写小写+用户名+密码)。如不安全协议为http,用户名为abc,密码为123,则md5（http+abc+123,)提交48346e4b413ad63aac2d7e528f1da1e6）2.通过协议分析，基于不安全协议，可发现流量包中共计传输多少份文件，其中相对特殊的文件，其文件名是什么？如数量为 1，文件名（不包含后缀）为 flag，则提交结果为 md5(1+flag)，提交：13fdbdc6aa7c5412c598e30f5bdbfdc3。
2024-05-12 20:49:55
917
原创 第二届数据安全大赛暨首届“数信杯”数据安全大赛数据安全积分争夺赛-东区预赛部分WP(2)
（最终提交的结果为md5(不安全协议缩写小写+用户名+密码)。2.通过协议分析，基于不安全协议，可发现流量包中共计传输多少份文件，其中相对特殊的文件，其文件名是什么？如数量为 1，文件名（不包含后缀）为 flag，则提交结果为 md5(1+flag)，提交：13fdbdc6aa7c5412c598e30f5bdbfdc3。这台机器通常用于处理公司和客户之间传输的敏感数据，而他发现该机器正在使用一个未经充分测试的密码系统，其安全性无法得到保证，容易被黑客利用造成数据泄露。最终提交结果为 flag 字符串。
2024-05-12 20:48:41
879
原创 如何统计Git库每个月提交代码的天数_git统计分析用户提交代码的时间
本文将介绍如何在Windows系统中使用Git命令行工具，统计GitLab仓库每个月提交代码的天数。事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！首先，打开Git Bash，然后进入到你的GitLab仓库所在的本地目录。这个命令会列出所有在2024年2月份提交的日期，并统计出不同日期的数量，也就是提交代码的天数。如果你想要统计包括所有分支在内的提交天数，可以在上述命令中加入。
2024-05-12 03:40:41
288
原创 如何统计Git库每个月提交代码的天数_git统计分析用户提交代码的时间(2)
通过以上步骤，你可以轻松地统计出GitLab仓库每个月的代码提交天数，从而帮助你更好地理解项目的开发节奏和团队的工作效率。希望这篇博客能够帮助到需要进行此类统计的开发者和项目经理。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-12 03:40:06
774
原创 如何统计Git库每个月提交代码的天数_git统计分析用户提交代码的时间(1)
通过以上步骤，你可以轻松地统计出GitLab仓库每个月的代码提交天数，从而帮助你更好地理解项目的开发节奏和团队的工作效率。希望这篇博客能够帮助到需要进行此类统计的开发者和项目经理。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-12 03:39:30
897
原创 如何成为一名黑客需要学什么，黑客入门必学的7个基本技术_黑客需要大数据嘛
所以你需要系统的学习，就算你说你时间不够，但是常见的工具还是要知道的，比如：Hydra、medusa、sqlmap、AWVS、Burpsuite、Beef-XSS、Metasploit、Nessus、wireshark等安全工具，这些是在安全圈和渗透圈比较知名的渗透工具与平台。NoNoNo，你还需要掌握一些网络的协议，比如TCP/IP协议，了解一些渗透技术和技巧，秉着黑客这门职业就是对计算机技术研究的执着，请一心求学，不要去恶意攻击破坏别人的系统。如果是想转行从事网络安全行业，这点知识是完全不够看的。
2024-05-12 03:38:54
836
原创 大数据最全【OpenCV】高手勿入! 半小时学会基本操作 3 边界填充(2)，2024年最新【高级大数据开发架构师系统学习】
常量法: 用常数值填充. 需要设置一个 value 值，代表填充的颜色.反射法 101, 以边界为中心点, 对图像边缘像素进行反射.外包法: 用相反位置对图片进行包裹.反射法, 对图像边缘像素进行反射.复制法: 复制最边缘像素.以边界为中心反射扩充.
2024-05-11 19:02:09
251
原创 大数据最全【Leetcode】面试题 16(2)，38岁的中年失业者怎么活下去
写出一个程序，接受一个正浮点数值，输出该数值的近似整数值。如果小数点后数值大于等于 0.5 ,向上取整；小于 0.5 ，则向下取整。数据范围：保证输入的数字在 32 位浮点数范围内。设计一个算法，算出 n 阶乘有多少个尾随零。
2024-05-11 19:01:33
374
原创 大数据最全【Java集合类】之 HashSet以及底层逻辑分析_hashset实现逻辑(4)，大数据开发开发入门基础教程
首先先来研究一下帮助文档HashSet 基于 HashMap 来实现的，是一个不允许有重复元素的集合。HashSet 允许有 null 值。HashSet 是无序的，即不会记录插入的顺序。HashSet 不是线程安全的， 如果多个线程尝试同时修改 HashSet，则最终结果是不确定的。您必须在多线程访问时显式同步对 HashSet 的并发访问。HashSet 实现了 Set 接口。此类实现 Set 接口，由哈希表（实际上是一个 HashMap 实例）支持。它不保证 set 的迭代顺序；
2024-05-11 19:00:57
870
原创 大数据最全【JAVA问题解决方案】01，2024年阿里大数据开发面试题及答案
ExcelProperty(value = “学生姓名”,index = 3)String fileName = “学生信息报告.xlsx”;@ExcelProperty(value = “学生年龄”)// 2. 修改index属性值读取Excel表格。// 3. 修改value属性值读取Excel表格。// 1. 修改成员变量顺序读取Excel表格。//这是测试导出两百万条数据。//获取一共多少条数据。//进行分表demo。//获取要导出的数据。
2024-05-11 19:00:10
330
原创 一文了解树在前端中的应用，掌握数据结构中树的生命线_先序遍历在实际生活中的应用
3.建立一个倒序栈outputStack，先把根树放进，再一一放入右子树，右子树全部放完之后再放左子树。* 3.遍历完成之后，把最尽头的结点弹出，并访问它；* 3.按照栈的先进后出特点，先把右子树放进栈里，再把左子树放进栈里，一一取出。* 2.对于先序遍历来说，需要先把根节点取出，然后再遍历左子树了右子树；// 倒序栈输出，放根右左的顺序，之后再一一取出。// 新建一个stack代表函数的调用堆栈。// 先放左子树，再放右子树，方便后面取出。// 没有该层次的数组时先创建一个数组。
2024-05-11 05:06:19
730
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人