程序员
文章平均质量分 89
普通网友
这个作者很懒,什么都没留下…
展开
-
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)_a)将三台虚拟机恢复到快照“大数据环境启动完成”(1)
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lwckbqR0-1624685398660)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1570973470529.png)]修改MySQL数据库字符编码为UTF-8,UTF-8包含全世界所有国家需要用到的字符,是国际编码。文件存放的是用户的信息, 由6个分好组成的7个信息, 分别是。原创 2024-05-15 11:11:53 · 1230 阅读 · 0 评论 -
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day30】—(3)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!一个人可以走的很快,但一群人才能走的更远!原创 2024-05-15 11:11:15 · 239 阅读 · 0 评论 -
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day30】—(2)
今天我们复习了面试中常考的数据倾斜相关的五个问题,你做到心中有数了么?其实做这个专栏我也有私心,就是希望借助每天写一篇面试题,督促自己学习,以免在面试期间尴尬!平时不流汗,面试多流泪!对了,如果你的朋友也在准备面试,请将这个系列扔给他,打卡。给同学们以激励。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!原创 2024-05-15 11:10:39 · 360 阅读 · 0 评论 -
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day30】—(1)
一个CPU core同一时间只能执行一个线程。而每个Executor进程上分配到的多个task,都是以每个task一条线程的方式,多线程并发运行的。一个应用提交的时候设置多大的内存?设置多少Core?设置几个Executor?原创 2024-05-15 11:10:02 · 364 阅读 · 0 评论 -
【大数据基础实践】(六)数据仓库Hive的基本操作_熟悉hive的基本操作
解决方法:查看hadoop安装目录下 share/hadoop/common/lib 内 guava.jar 版本,查看 hive安装目录下lib内guava.jar的版本,如果两者不一致,删除版本低的,并拷贝高版本的。在表student_zqc中添加两个分区Dept=’CS’和Dept=’SE’,从本地导入数据到student_xxx表的两个分区中,分别查看两个分区所有记录,查看表数据存储目录;从HDFS导入数据到grade_xxx表中,查看grade_xxx表所有记录,查看表数据存储目录;原创 2024-05-15 02:33:22 · 879 阅读 · 0 评论 -
【大数据基础实践】(六)数据仓库Hive的基本操作_熟悉hive的基本操作(3)
解决方法:查看hadoop安装目录下 share/hadoop/common/lib 内 guava.jar 版本,查看 hive安装目录下lib内guava.jar的版本,如果两者不一致,删除版本低的,并拷贝高版本的。在表student_zqc中添加两个分区Dept=’CS’和Dept=’SE’,从本地导入数据到student_xxx表的两个分区中,分别查看两个分区所有记录,查看表数据存储目录;从HDFS导入数据到grade_xxx表中,查看grade_xxx表所有记录,查看表数据存储目录;原创 2024-05-15 02:32:46 · 593 阅读 · 0 评论 -
【大数据基础实践】(六)数据仓库Hive的基本操作_熟悉hive的基本操作(2)
Hive是一个构建于Hadoop顶层的数据仓库工具依赖分布式文件系统HDFS存储数据,依赖分布式并行计算模型MapReduce处理数据,本身不存储和处理数据(区别:传统数据仓库支持数据存储和处理分析)支持大规模数据存储、分析,具有良好的可扩展性定义了简单的类似SQL 的查询语言——HiveQL/HQL用户可以通过编写的HQL语句运行MapReduce任务可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上是一个可以提供有效、合理、直观组织和使用数据的分析工具。原创 2024-05-15 02:32:10 · 734 阅读 · 0 评论 -
【大数据基础实践】(六)数据仓库Hive的基本操作_熟悉hive的基本操作(1)
Hive是一个构建于Hadoop顶层的数据仓库工具依赖分布式文件系统HDFS存储数据,依赖分布式并行计算模型MapReduce处理数据,本身不存储和处理数据(区别:传统数据仓库支持数据存储和处理分析)支持大规模数据存储、分析,具有良好的可扩展性定义了简单的类似SQL 的查询语言——HiveQL/HQL用户可以通过编写的HQL语句运行MapReduce任务可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop平台上是一个可以提供有效、合理、直观组织和使用数据的分析工具。原创 2024-05-15 02:31:32 · 741 阅读 · 0 评论 -
Java知识面试题复习(六)集合容器概述_java 的集合(collection)容器中,适于顺序遍历与随机插入的为(6)
Map接口的实现类主要有:HashMap、TreeMap、Hashtable、ConcurrentHashMap以及Properties等Set接口的实现类主要有:HashSet、TreeSet、LinkedHashSet等List接口的实现类主要有:ArrayList、LinkedList、Stack以及Vector等。原创 2024-05-14 17:11:35 · 306 阅读 · 0 评论 -
Java知识面试题复习(六)集合容器概述_java 的集合(collection)容器中,适于顺序遍历与随机插入的为(5)
原因:迭代器在遍历时直接访问集合中的内容,并且在遍历过程中使用一个 modCount 变量。集合在被遍历期间如果内容发生变化,就会改变modCount的值。每当迭代器使用hashNext()/next()遍历下一个元素之前,都会检测modCount变量是否为expectedmodCount值,是的话就返回遍历;否则抛出异常,终止遍历。解决办法:在遍历过程中,所有涉及到改变modCount值得地方全部加上synchronized。使用CopyOnWriteArrayList来替换ArrayList。原创 2024-05-14 17:11:00 · 619 阅读 · 0 评论 -
Java知识面试题复习(六)集合容器概述_java 的集合(collection)容器中,适于顺序遍历与随机插入的为(4)
数据结构:就是容器中存储数据的方式。对于集合容器,有很多种。因为每一个容器的自身特点不同,其实原理在于每个容器的内部数据结构不同。集合容器在不断向上抽取过程中,出现了集合体系。在使用一个体系的原则:参阅顶层内容。建立底层对象。原创 2024-05-14 17:10:24 · 564 阅读 · 0 评论 -
Java知识面试题复习(六)集合容器概述_java 的集合(collection)容器中,适于顺序遍历与随机插入的为(3)
/ 调用HashMap的put方法,PRESENT是一个至始至终都相同的虚值。// 运行时此行报错。原创 2024-05-14 17:09:47 · 300 阅读 · 0 评论 -
2024年最新9,大数据开发高级架构进阶之数据传输与序列化
随着技术博客的不断书写,你的影响力也会逐渐变大,当到达某个阶段时,你也将面临知识变现,也将面临海量抄袭。本文将为你介绍技术博客写作初期,你会接触到的变现手段,以及可能面临的被抄袭(包括未授权转载)等问题。在写作初期了解这些问题,提前做到有备无患。原创 2024-05-14 08:32:59 · 798 阅读 · 0 评论 -
2024年最新8年前端带你HTML+CSS入门到实战(附视频+源码)_html(2),快点来白嫖
所以HTML看看有哪些标签,看完了就直接跳过去,开始CSS的学习,还不可取的。原创 2024-05-14 08:32:23 · 255 阅读 · 0 评论 -
2024年最新5分钟通过水痘事件来认识系统架构(1),意外的惊喜
类似水痘这个bug是无法避免的,因为消除不了,但不属于那种致命问题,有时候也不会被重视。做系统也一样不能说完全没有Bug,只是多数情况下还不是主要矛盾,可以忍受(再没有遇到那个情况触发下)。对新手来说,看书估计是很难的,你没有到那些问题,看到一些文字估计停留在浅尝辄止!学委觉得最好的方式就是,观察,模仿,找到团队里最厉害的人(可以是架构师,可以是最牛的那个技术)。多跟他交流,思考为什么,他也不一定都对(除了技术,还有工期,团队能力,预算等外界因素)。原创 2024-05-14 08:31:47 · 734 阅读 · 0 评论 -
2024年最新3D Slicer - 图像分割标注教程_3dslicer标注,2024年最新【架构师必备】
将包含.dcm文件序列的文件夹拖入3D Slicer,或者点击左上角的dcm图标:直接将.nii文件拖入3D Slicer即可。原创 2024-05-14 08:31:10 · 963 阅读 · 0 评论 -
2024年大数据最新【elasticsearch实战】从零开始设计全站搜索引擎(2),2024年最新硬核
但这种方法可能存在问题,热搜词没有时间权重衰减, 例如:一个关键词10天前搜索了101次,昨天搜索了100次,10天前的词还能继续排在昨天的热词前面吗?热门搜索词主要来源用户搜索,目前场景比较简单,每天定时任务统计N天前的用户搜词词频,按搜索频次降序排序,存储到MySQL或者redis中。做数据传输工具, 另外自研了数据传输的中间件,来解决不同数据表结构的适配问题,统一适配数据格式之后,将数据从新写入。在腾讯云es选择配置时,除了考虑文档数据量之外,还需要考虑使用的插件对配置的影响,例如腾讯云自研的。原创 2024-05-13 23:44:46 · 682 阅读 · 0 评论 -
2024年大数据最新【docker系列】四种基础网络模式及自定义网络_docker 自定义网络,面试官都被搞懵了
在宿主机范围内定义了一个名称为zimug-bridge的网络,网络模式是bridge。我们通过下面的2个命令,新建2个容器都加入zimug-bridge网络网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!原创 2024-05-13 23:44:10 · 1022 阅读 · 0 评论 -
2024年大数据最新【Docker】docker日常工作总结(涉及基础命令、基础名词概念(2),熬夜整理蚂蚁金服大数据开发高级笔试题
【代码】2024年大数据最新【Docker】docker日常工作总结(涉及基础命令、基础名词概念(2),熬夜整理蚂蚁金服大数据开发高级笔试题。原创 2024-05-13 23:43:33 · 612 阅读 · 0 评论 -
2024年大数据最新【C语言函数】入门教程_函数入门教程(1),阿里珍藏版大数据开发框架体系架构手写文档
函数实际上就是一个程序的分解,只要找准形参和实参的对应关系,明确好自己的实际需求,就可以很好的使用其。当然本文只是介绍了函数最基本的用处,在未来还将进一步深度讲解其在算法中的重要意义。既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取。原创 2024-05-13 23:42:57 · 240 阅读 · 0 评论 -
第二届数据安全大赛暨首届“数信杯”数据安全大赛数据安全积分争夺赛-东区预赛部分WP(1)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取给了次机会,循环的再栈上思路:直接通过跳板修改循环(有符号形)为负数,造成无限循环,然后覆盖返回地址为,最后把i改为退出循环用调试,栈上处一个很明显的级跳板可以利用先利用泄露出地址和栈地址然后一直利用跳板完成原创 2024-05-12 20:47:55 · 456 阅读 · 0 评论 -
第8期:云原生—— 大学生职场小白该如何学_云原生架构师需要会前端吗
分布式计算主要解决了任务分发、并进行计算和结果合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(毫秒级、亚秒级)完成对数以万计的海量数据处理,从而达到强大的网络服务。关于大数据相关基础知识,可以到了解。原创 2024-05-12 20:47:18 · 320 阅读 · 0 评论 -
第8期:云原生—— 大学生职场小白该如何学_云原生架构师需要会前端吗(2)
社区新上线两大专栏:【大学生成长计划】和【职场小白成长计划】,老王将携手多位业界技术大佬分享我们这些年的工作经验,希望对在校或在职的小伙伴能起到抛砖引玉的效果!原创 2024-05-12 20:46:42 · 349 阅读 · 0 评论 -
第8期:云原生—— 大学生职场小白该如何学_云原生架构师需要会前端吗(1)
大家好,我是你们的老朋友老王随聊,今天和大家讨论的话题——大学生职场小白该如何学习云原生?伴随云计算的滚滚浪潮,云原生(CloudNative)概念应运而生,云原生很火,火得一塌糊涂,2022年了,有人说:"如果你还不懂云原生,那真的out了”。这是真的吗?另外很多文章每天讲云原生,却鲜少有人告诉你到底什么是云原生,它是怎么来的,底层是什么?很多时候读完一些文章,大多会感觉云绕雾罩,一知半解,总之虚得很;甚至会让你一度怀疑自己的智商。今天,老王带着大家看看究竟什么是云原生。原创 2024-05-12 20:46:05 · 346 阅读 · 0 评论 -
如何成为一名黑客需要学什么,黑客入门必学的7个基本技术_黑客需要大数据嘛(1)
所以你需要系统的学习,就算你说你时间不够,但是常见的工具还是要知道的,比如:Hydra、medusa、sqlmap、AWVS、Burpsuite、Beef-XSS、Metasploit、Nessus、wireshark等安全工具,这些是在安全圈和渗透圈比较知名的渗透工具与平台。如果是真的开发一个程序把大象装冰箱里,还真就得一步步都要考虑到,而且每一步操作,可能出现的异常都要充分考虑清楚,尽可能在程序中把可能出现的所有异常都要做出处理。Windows是使用人数最多的操作系统,这个是必须要掌握的。原创 2024-05-12 03:38:09 · 481 阅读 · 0 评论 -
如何在 2024 年为 Web 应用程序选择技术堆栈_2024年 java web技术栈
术语“技术堆栈”是指编程语言、软件和一系列用于开发应用程序的框架的复杂组合。应该在 Web 开发过程的规划阶段选择它。任何 Web 应用程序的架构都包含两个方面:客户端(前端)和服务器端(后端)。客户端是用户可以在其显示器上看到的可视化数据。编程语言,负责 Web 应用程序的交互部分,在浏览器中显示网站内容的文档标记语言,用于描述文档表示的样式表语言,用户界面框架。服务器端对用户不可见。它为客户端提供数据。数据库,后端编程语言,构架,Web 服务器(也可以选择无服务器架构),原创 2024-05-12 03:37:33 · 543 阅读 · 0 评论 -
如何在 2024 年为 Web 应用程序选择技术堆栈_2024年 java web技术栈(3)
如果您的项目有严格的截止日期,那么采用现成的技术堆栈解决方案将是一个明智的决定。这将减少整个 Web 应用程序的开发时间。LAMP、MERN 和 MEAN 是最受欢迎的型号。它们将适用于各种大中型 Web 应用程序。然而,这并不意味着它们肯定适用于任何项目——您的个人项目可能需要更具创造性的方法。原创 2024-05-12 03:36:57 · 851 阅读 · 0 评论 -
如何在 2024 年为 Web 应用程序选择技术堆栈_2024年 java web技术栈(2)
术语“技术堆栈”是指编程语言、软件和一系列用于开发应用程序的框架的复杂组合。应该在 Web 开发过程的规划阶段选择它。任何 Web 应用程序的架构都包含两个方面:客户端(前端)和服务器端(后端)。客户端是用户可以在其显示器上看到的可视化数据。编程语言,负责 Web 应用程序的交互部分,在浏览器中显示网站内容的文档标记语言,用于描述文档表示的样式表语言,用户界面框架。服务器端对用户不可见。它为客户端提供数据。数据库,后端编程语言,构架,Web 服务器(也可以选择无服务器架构),原创 2024-05-12 03:36:21 · 945 阅读 · 0 评论 -
大数据最全【Java刷题进阶】进阶学习篇②(1),金三银四旗开得胜
输入:{},{}返回值:{}输入:{-1,2,4},{1,3,4}返回值:{-1,1,2,3,4,4}原创 2024-05-11 18:59:25 · 820 阅读 · 0 评论 -
大数据最全【java刷算法】牛客—剑指offer3栈、数组、递归,超强大数据开发进阶路线知识图谱
今天主要练习了栈、数组、递归、二分法,这些都属于算法基本操作哦。一定要牢记,特别是二分法,在看到查找的时候第一时间要想到用哦。加油!!!原创不易,还希望各位大佬支持一下\textcolor{blue}{原创不易,还希望各位大佬支持一下}原创不易,还希望各位大佬支持一下网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!原创 2024-05-11 18:58:49 · 244 阅读 · 0 评论 -
大数据最全【Java】Mybatis查询数据库_java程序开机使用mybatis查询数据库,深入剖析原理
MyBatis也是一个ORM框架,ORM即对象关系映射。在面向对象编程语言当中,讲关系型数据库中的数据与对象建立起映射关系,进行自动完成数据与对象的相互转换一般的ORM框架,会将数据库模型的每一张表都映射为一个Java类也就是说使用MyBatis可以像操作对象一样操作数据库中的表,可以实现对象和数据表之间的转换,我们接下来看看MyBatis的使用。原创 2024-05-11 18:58:13 · 788 阅读 · 0 评论 -
大数据最全【JavaWeb】Tomcat的入门使用_javawebtomcat怎么使用(1),写给即将正在找工作的大数据开发攻城狮
bin:目录下有两类文件,一种是以.bat结尾的,是Windows系统的可执行文件,一种是以.sh结尾的,是Linux系统的可执行文件。webapps:就是以后项目部署的目录到此,Tomcat的安装就已经完成。原创 2024-05-11 18:57:37 · 873 阅读 · 0 评论 -
一学就会的顺序表 —— 结构及各种接口 ( 头插 删、尾插 删、特定位置查找 插入 删除 ) 的实现_顺序表 尾插(2)
静态顺序表的定长数组导致N定大了,空间开多了浪费,开少了不够用。所以现实中基本都是使用动态顺序表,根据需要动态的分配空间大小。当我们想在表的特定位置(任意位置)插入数据时,首先要知道想插入位置的下标(pos),然后依次再将表中从该下标开始到表尾的数据向后挪动一个位置,再将想插入的数据放入下标为 pos 的位置即可。顺序表是用一段物理地址连续的存储单元依次存储数据元素的线性结构,一般情况下采用数组存储。在使用完顺序表后我们要销毁掉顺序表以避免内存泄露的问题,如下。尾插就很简单实现,直接在表末放入数据即可。原创 2024-05-11 05:03:45 · 463 阅读 · 0 评论 -
一学就会的顺序表 —— 结构及各种接口 ( 头插 删、尾插 删、特定位置查找 插入 删除 ) 的实现_顺序表 尾插(1)
两者的结构区别如下图:现实中,静态顺序表只适用于确定知道需要存多少数据的场景。静态顺序表的定长数组导致N定大了,空间开多了浪费,开少了不够用。所以现实中基本都是使用动态顺序表,根据需要动态的分配空间大小。所以接下来我们就来实现动态顺序表。原创 2024-05-11 05:03:09 · 417 阅读 · 0 评论 -
一口气刷完牛客网全部机器学习算法题_学习机器学习需要每天刷题吗
dataSet = pd.read_csv(‘dataSet.csv’, header=None).values.T # 转置 5*15数组。print(“信息增益最大的特征索引为:{0},对应的信息增益为{1}”.format(info_res[0], info_res[1]))cnt = Counter(data) # 计数每个值出现的次数 Counter({1: 8, 0: 5})cnt = Counter(dataSet) # 计数每个值出现的次数。原创 2024-05-11 05:02:33 · 1033 阅读 · 0 评论 -
一口气刷完牛客网全部机器学习算法题_学习机器学习需要每天刷题吗(1)
我使用的是决策树模型,默认参数下该二分类问题准确率还是100%原创 2024-05-11 05:01:57 · 277 阅读 · 0 评论 -
《从Java面试题看源码》-Flow、SubmissionPubliser源码分析_submissionpublisher 最大容量
此类还可以作为生成元素的子类的基类,并使用此类中的方法发布。SubmissionPublisher提供缓冲功能,能够使生产者和消费者以不同的速率运行,每个消费者独立使用一个缓冲区,缓冲区在首次使用的时候创建,提供了一个默认值256,并会根据需要扩大到最大值,容量通常扩大到最近的2的次幂或者支持的最大值。以下是Flow.Processor实现的示例,为了简化说明,使用单步向publisher发起请求,更合适的版本可以使用submit方法或者其他实用方法来监控流量。原创 2024-05-10 20:25:05 · 808 阅读 · 0 评论 -
《从Java面试题看源码》-Flow、SubmissionPubliser源码分析_submissionpublisher 最大容量(1)
Flow 、SubmissionPubliser类是 java9中新增的类,都被放在JUC包中。原创 2024-05-10 20:24:29 · 492 阅读 · 0 评论 -
《云原生的本手、妙手和俗手》——2024全国新高考I卷作文_步尔斯特
Java web开发从Servlet、SSM、SpringBoot,再到Spring Cloud Netflix和现在的Spring Cloud Alibaba,还有后续的Spring Cloud Kubernetes等,这种变化是与时俱进的。非侵入式框架所带来的最大问题就是性能问题,内存、CPU的损耗都是值得深入思考的,盲目的跟随主流,最终只会让自己受苦。妙手便是在正确掌握了规律的基础上充分发挥自己的主观能动性,一鼓作气,再而衰,三而竭,彼竭我盈,故克之。不论是云原生还是上述的话题,不得不说到微服务。原创 2024-05-10 20:23:53 · 780 阅读 · 0 评论 -
《云原生的本手、妙手和俗手》——2024全国新高考I卷作文_步尔斯特(5)
Java web开发从Servlet、SSM、SpringBoot,再到Spring Cloud Netflix和现在的Spring Cloud Alibaba,还有后续的Spring Cloud Kubernetes等,这种变化是与时俱进的。非侵入式框架所带来的最大问题就是性能问题,内存、CPU的损耗都是值得深入思考的,盲目的跟随主流,最终只会让自己受苦。妙手便是在正确掌握了规律的基础上充分发挥自己的主观能动性,一鼓作气,再而衰,三而竭,彼竭我盈,故克之。不论是云原生还是上述的话题,不得不说到微服务。原创 2024-05-10 20:23:17 · 893 阅读 · 0 评论