程序员
文章平均质量分 88
普通网友
这个作者很懒,什么都没留下…
展开
-
公司账号密码、通信录泄露屡见不鲜,肆意流淌的敏感信息:WEB安全基础入门—信息泄露漏洞_公司通讯录泄露
例题2。原创 2024-05-15 07:36:35 · 703 阅读 · 0 评论 -
公司账号密码、通信录泄露屡见不鲜,肆意流淌的敏感信息:WEB安全基础入门—信息泄露漏洞_公司通讯录泄露(1)
一旦对某个参数感兴趣,可以将该参数值进行混淆输入,观察应用响应。这一步可使用Burp爆破模块进行大量自动化的混淆测试。渗透测试的一项关键技能是能够随时随地识别有价值的信息。指定header为本地的用户才有权限访问admin, 删除账户carlos。在开发阶段经常使用版本控制系统,例如Git 在路径扫描中有时能发现路径。可在攻击端安装Git,直接拉取下载,来获取部分源代码。测试账户:wiener:peter。获取部分源代码,找到数据库密码。获取使用框架的版本号。获取到框架及其版本号。原创 2024-05-15 07:35:59 · 535 阅读 · 0 评论 -
公司来了个京东T6,只用两个工具类教会了我如何进行数据对比_fieldcompare
(img-ZUnMtUUF-1715729700527)]// value原值 originValue基准值。* @Description 数据比对线程。* 获取当前类以及其父类所有的属性列表。* @Description 内容对比。原创 2024-05-15 07:35:23 · 225 阅读 · 0 评论 -
公司来了个京东T6,只用两个工具类教会了我如何进行数据对比_fieldcompare(2)
/ Filed.get(Object obj),获取对象对应的属性名。妈的,差点把大哥的代码改了,,,我这沙雕。* @param aField obj1待比较的Field。* @param bField obj2待比较的Field。* @param aName obj1待比较的属性名称。* @param bName obj2待比较的属性名称。* @Description 数据比对线程。* 获取当前类以及其父类所有的属性列表。* @Description 内容对比。* 对象属性值对比方法。原创 2024-05-15 07:34:46 · 453 阅读 · 0 评论 -
【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区、动静态分区_hive insert into
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!;select * from test_1;desc test_2_tmp;±-----------±-----------±---------+| col_原创 2024-05-14 22:54:53 · 815 阅读 · 0 评论 -
【Hadoop生态】HDFS的元数据管理机制_hadoop中文件的位置信息是元数据吗
HDFS元数据,按类型分,主要包括以下几个部分:1、文件、目录自身的属性信息,例如文件名,目录名,修改信息等。2、文件记录的信息的存储相关的信息,例如存储块信息,分块情况,副本个数等。3、记录HDFS的Datanode的信息,用于DataNode的管理。按形式分为内存元数据和元数据文件两种,分别存在内存和磁盘上。原创 2024-05-14 22:54:17 · 525 阅读 · 0 评论 -
【Hadoop】(四)Hadoop 序列化 及 MapReduce 序列化案例实操_public void readfields(datainput datainput) throws
(1)编写流量统计的Bean对象。3.编写MapReduce程序。(4)编写Driver驱动类。(3)编写Reducer类。(2)编写Mapper类。(2)期望输出数据格式。原创 2024-05-14 22:53:41 · 236 阅读 · 0 评论 -
【Hadoop】(五)MapReduce 如何解决数据倾斜问题_mapreduce 数据倾斜
简单来说数据倾斜就是数据的key 的分化严重不均,造成一部分数据很多,一部分数据很少的局面。举个 word count 的入门例子,它的map 阶段就是形成 (“aaa”,1)的形式,然后在reduce 阶段进行 value 相加,得出 “aaa” 出现的次数。若进行 word count 的文本有100G,其中 80G 全部是 “aaa” 剩下 20G 是其余单词,那就会形成 80G 的数据量交给一个 reduce 进行相加,其余 20G 根据 key 不同分散到不同 reduce 进行相加的情况。原创 2024-05-14 22:53:04 · 709 阅读 · 0 评论 -
2024年面试官:抽象工厂模式是什么?_面试问抽象工厂模式,大数据开发组件化入门
我终于知道厂子里生产的裤子为什么提不上了,原来布料都让厂长贪污了。。。就在这时我的手机响了。我:“喂,我是提不上库业厂的员工,你是不是有关部门要找我们厂长喝茶呀。对方:“不是不是,我找你有事,我是xxx公司的,我在简历库中看到你的简历,你现在方便面试吗?我:“当然方便,赶紧面试吧,我现在这厂子应该撑不了多久了,得赶紧找下家。原创 2024-05-14 13:35:26 · 269 阅读 · 0 评论 -
2024年面试官:你说说Kafka是怎么保证消息可靠性的,2024年最新阿里P8大牛从零开始教大数据开发开源框架
面试官:听说你精通Kafka,那我就考考你吧面试官:不用慌尽管说,错了也没关系😊。。。❤️。原创 2024-05-14 13:34:50 · 377 阅读 · 0 评论 -
2024年震惊!!!跟着我学Hadoop,既然如此简单(1),原理+实战讲解
MapReduce是一个分布式运算程序的编程框架,是用户开发"Hadoop的数据分析应用"的核心框架。MapReduce的思想核心是"分而治之",适用于大量复杂的任务处理场景(大规模数据处理场景)。Map负责"分",即把复杂的任务分解为若干个"简单的任务"来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系。Reduce负责"合",即对Map阶段的结果进行全局汇总。MapReduce用于大规模数据集(通常大于1TB)的并行运算,实现了Map和Reduce两个功能。原创 2024-05-14 13:34:12 · 688 阅读 · 0 评论 -
2024年阿卡姆大数据科普报告——Calcite,大数据开发程序员
使用了一个基于成本的优化模型,成本模型决定了最终使用哪个执行计划,有时候为了避免搜索空间的爆炸性增长会对搜索树进行剪枝,但它绝不对强迫用户在规则A和规则B之间进行选择。就好像有一个策略,比如“在整棵树上先执行规则A,然后在整棵树上执行规则B”,或是执行基于代价的优化策略,执行能产生耗费更低的结果的规则。不会按照规定的数据来执行.查询优化处理过程是一个有很多分支的分支树,就像国际象棋一样会检查很多可能的子操作。在执行计划树的时候会使用基于代价的优化,但代价模型并不会阻止一些看起来短期代价更高的规则执行(原创 2024-05-14 13:33:35 · 766 阅读 · 0 评论 -
2024年最全R-CNN论文解读 总结 详细笔记(2),2024年最新大数据开发开发教程入门
论文提出一个简单并且可扩展的检测算法,可以将。原创 2024-05-14 04:57:20 · 845 阅读 · 0 评论 -
2024年最全python面试题总结(二)_给定2个字符串a=“abcdefg”,b=,985研究生被小公司领导留了3年
辄止,不再深入研究,那么很难做到真正的技术提升。cat=Animal(‘波斯猫’)原创 2024-05-14 04:56:43 · 230 阅读 · 0 评论 -
2024年最全Python面试题大全(五):测试、大数据(1),2024年最新大数据开发开发了解这些自然无惧面试
数据结构**数列定义: **根据定义速度很慢,另外(暴栈注意!⚠️️)return 1线性时间的状态/循环return a递归a, b = syield 1yield fib矩阵不是矩阵if n == 0:网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!原创 2024-05-14 04:56:08 · 627 阅读 · 0 评论 -
2024年最全Python大数据之PySpark(一)SparkBase_spark学pyspark可以吗,38岁的中年失业者怎么活下去
Spark 四大特点1-速度快2-非常好用3-通用性4-运行在很多地方Spark 框架模块了解。原创 2024-05-14 04:55:31 · 491 阅读 · 0 评论 -
2024年大数据最全大数据常见问题:数据倾斜(3),2024火爆全网系列
Spark中的数据倾斜,包括Spark Streaming和Spark Sql,表现主要有下面几种:Executor lost,OOM,Shuffle过程出错;Driver OOM;单个Executor执行时间特别久,整体任务卡在某个阶段不能结束;正常运行的任务突然失败;我们以Spark和Hive的使用场景为例。他们在做数据运算的时候会涉及到,count distinct、group by、join on等操作,这些都会触发Shuffle动作。原创 2024-05-13 20:09:02 · 872 阅读 · 0 评论 -
2024年大数据最全大数据学习(第二天:数据库基础)(2),2024年最新95%大数据开发开发者已收藏的十大开源库
SQL全称结构化查询语言,是关系型数据库管理系统都需要遵循的规范,是操作关系型数据库语言,都支持SQL虽然所有的关系型数据库都支持SQL,但是不同的关系型数据库都会有一些特殊的东西(特有的函数或语法)原创 2024-05-13 20:08:26 · 579 阅读 · 0 评论 -
2024年大数据最全大数据处理方案(2),2024年最新字节大数据开发面试必问
对每个小文件,统计每个文件中出现的词以及相应的频率(可以采用trie树/hash_map等),并取出出现频率最大的100个词(可以用含100个结点的最大堆),并把100个词及相应的频率存入文件,这样又得到了5000个文件。因此,维护一个K(该题目中是10)大小的小根堆,然后遍历300万的Query,分别和根元素进行对比所以,我们最终的时间复杂度是:O(N) + N’*O(logK),(N为1000万,N’为300万)。求每对小文件中相同的url时,可以把其中一个小文件的url存储到hash_set中。原创 2024-05-13 20:07:48 · 598 阅读 · 0 评论 -
2024年大数据最全大数据基础习题(2),分享面经
4.下列选项中_B_不是NoSQL数据库的特点。A. 灵活的可扩展性 B. 动态的数据迁移 C. 灵活的数据模型 D. 与云计算紧密结合 5.下列关于云数据库的特点,错误的是_A_ A. 灵活的关系数据模型 B. 较低的使用代价 C. 高性能 D. 动态可扩展性。2.HDFS特殊的设计,在实现上述优良特性的同时,也使得自身具有一些应用局限性,主要包括以下几个方面 (AB) A. A.不适合低延迟数据访问 B. B.无法高效存储大量小文件 C. C.不支持单用户写入及任意修改文件 D. D.硬件设备昂贵。原创 2024-05-13 20:07:12 · 766 阅读 · 0 评论 -
2024年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中,敬请期待…_唯众智创 大数据 赛题(3)
另外,要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录,存储文件类型为“orc”,文件的压缩类型为“snappy”;将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下,并指定列的分隔符为逗号(特别注意:因为省份是随机获取的,所以结果会有所差异);(11)统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour 目录下,并指定列的分隔符为逗号;原创 2024-05-13 14:35:07 · 778 阅读 · 0 评论 -
2024年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中,敬请期待…_唯众智创 大数据 赛题(2)
另外,要求指定表的存储路径为HDFS的/behavior/dws/dws_behavior_log目录,存储文件类型为“orc”,文件的压缩类型为“snappy”;将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_pro目录下,并指定列的分隔符为逗号(特别注意:因为省份是随机获取的,所以结果会有所差异);(11)统计不同时间段的网页浏览量将统计结果导出到本地文件系统的/root/eduhq/result/ads_user_hour 目录下,并指定列的分隔符为逗号;原创 2024-05-13 14:34:31 · 259 阅读 · 0 评论 -
2024年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中,敬请期待…_唯众智创 大数据 赛题(1)
(5)在comm数据库下创建一个名为dim_date的外部表,如果表已存在,则先删除;另外,要求指定表的存储路径为HDFS的/behavior/dim/dim_date目录,字段分隔符为 “\t” , 建 表 时 添 加 TBLPROPERTIES(‘skip.header.line.count’=‘1’) 语句让Hive读取外表数据时跳过文件行首(表头);字段类型如下表所示;表7 字段类型表(6)在comm数据库下创建一个名为dim_area的外部表,如果表已存在,则先删除;原创 2024-05-13 14:33:55 · 714 阅读 · 0 评论 -
2024年全国职业院校技能大赛中职组大数据应用与服务赛项题库参考答案陆续更新中,敬请期待…_behavior2024-01-01
使用浏览器访问即可。(1)使用Windows操作系统上的Excel软件,打开名为"behavior2023-01-01.csv"的文件;(2)对数据进行清洗,专注处理名为"behavior2023- 01-01.csv"的文件中的"time"列。将时间日期格式进行分列,分别处理为日期和时间两列。原创 2024-05-13 14:33:19 · 307 阅读 · 0 评论 -
最新大数据基础习题(1),2024年最新作为大数据开发开发程序员
P133 A.C B.C++ C.java D.VB 2.以下哪项不是MapReduce体系结构的主要组成部分(D) P课件9 A.Client B.JobTracker C.TaskTracker D.TaskScheduler 3.每个Map任务分配一个缓存,MapReduce默认缓存是(A) P137 A.100MB B.80MB C.120MB D.200MB 4.以下哪项不属于步骤不包含在溢写过程中(B) P137 A.分区 B.归并 C.排序 D.合并 5.Reduce从©读取数据。原创 2024-05-12 17:12:21 · 702 阅读 · 0 评论 -
最新大数据分析-零基础学Tableau+超详细讲解+示例练习(八),2024年最新2024年最新大厂大数据开发面试笔试题目
首先 创建两个字段,中国电影和美国电影总数。将年代更改为数字整数,创建数据桶,绘制完毕。如下图所示,生成漏斗图。原创 2024-05-12 17:11:45 · 316 阅读 · 0 评论 -
最新大数据分析-零基础学Tableau+超详细讲解+示例练习(五),大数据开发基础入门教程
找到Tableau的文件所在位置,找到defaults目录下的shape文件,这里储存的就是形状,可以在这里通过添加文件夹从而设置我们想要的形状,建议自定义的形状采取PNG格式的图片。ctrl选择经度和维度,在智能显示里先择地图,再把国家地区拖入详细信息。通过仪表板的应用我们可以将我们做的多个图表融合在一起,实现可视化。经度拖入列,维度托入行,再把国家地区拖入详细信息。不拖入,直接双击 “国家/地区”。原创 2024-05-12 17:11:09 · 392 阅读 · 0 评论 -
最新大数据分析-零基础学Tableau+超详细讲解+示例练习(七)(1),2024年最新面试宝典
*扩展现有角色:**是对现有的地理角色的补充,Tableau默认是只识别人口在10000以上,并且政府公开信息的城市,因此内置的城市是不够完整的,可以通过扩展来实现点击上面“地图”.双击经度、维度-在分析中取消聚合度量-将“标记”设置为多边形-将“点ID”放入“路径”-将“公园名称”放入“颜色”-可以根据自己的情况设置地图层,让其显示出我们想要的效果。较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**(确定在地图上那个位置)、原创 2024-05-12 17:10:33 · 392 阅读 · 0 评论 -
最全【毕业季】科班大二拿到满意offer的成长之路_大二拿offer(2),大数据开发高级面试题2024
本人是2024届毕业的一名大二学生,对于个人以后的人生规划更偏向于就业,目前也是通过自己的努力拿到了一个某央企的offer。原创 2024-05-12 08:40:33 · 674 阅读 · 0 评论 -
最全【毕业季·进击的技术er】职场人的自白(1),2024年最新成体系化的神级大数据开发进阶笔记,
针对程序员三十五岁瓶颈,首先我认为在参加工作后,清楚自己定位,技术型要做好技术储备,目前1-2年相关技术就会有很大变化,底子好一点,可以分析未来5年左右可能流行的技术,管理型规划好发展方向,多积累人脉资源,转化为自身的资本,增加自己的管理规模。多参加社交活动,积累人脉,养成良好的生活习惯。毕业生们,加油吧,努力适应职场,在校生珍惜大学生活吧,这段时间是你们一生宝贵的回忆。我的大学生活从16年入学到18年毕业,距今已经毕业4年了,当时学习的机电一体化专业,实际16年参加工作,目前已经工作6年了。原创 2024-05-12 08:39:56 · 403 阅读 · 0 评论 -
最全【机器学习】数据预处理 - 归一化和标准化_归一化处理,2024年最新八年大数据开发开发心路历程
处理数据之前,通常会使用一些转换函数将「特征数据」转换成更适合「算法模型」的特征数据。这个过程,也叫数据预处理。比如,我们在择偶时,有身高、体重、存款三个特征,身高是180、体重是180、存款是180000;存款的数值跟其他数据不在一个数量级,这意味着存款的对择偶结果的影响比较大,但我们认为这三个特征同样重要,这时候就需要把这些规格不同的数据转换到同一规格。「归一化」是常用的预处理方式之一,就是把数据转换到 0~1 之间。原创 2024-05-12 08:39:20 · 720 阅读 · 0 评论 -
最全【数模之数据分析-2】_数模 数据分析(2),2024年最新阿里大数据开发面试必问
Thenp.addx1 + x2= 0Noneprint(jz)print(help(np.pad)) # 帮助文档print(sy8)print(cz)print(sz1)print(sz2)None(1, 5, 4)[ 3 10]print(f"昨天是{yes}“)print(f"今天是{tod}”)print(f"明天是{tom}")原创 2024-05-12 08:38:43 · 682 阅读 · 0 评论 -
大数据最新【云原生 30】Docker运行大数据处理框架Spark_docker spark,2024年最新资深大数据开发开发带你入门Framework
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,基于Scala开发。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark支持更灵活的函数定义,可以将应用处理速度提升一到两个数量级,并且提供了众多方便的实用工具,包括SQL查询、流处理、机器学习和图处理等:Spark体系架构包括如下三个主要组件:数据存储、API、管理框架,如图所示。原创 2024-05-12 00:03:08 · 677 阅读 · 0 评论 -
大数据最新【sql语句基础】——查(select)(单表查询(1),2024年最新大数据开发开发零基础教学
化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**empno为员工号、ename为员工名、job为工作、mgr为直属领导编号、hiredate为入职时间、sal为薪水、comm为补贴、deptno为部门号。细节:count(*)查询满足条件的记录的行数;count(列)统计满足条件的列,但是会排除null。升序:asc 降序:desc。原创 2024-05-11 23:59:52 · 292 阅读 · 0 评论 -
大数据最新【SPSS】激素水平项目实战案例(2),阿里大数据开发开发手册
秩变换分析是一种非参数检验,把不符合正态分布的变量取它的秩次代替原来变量,再计算检验统计量进行分析。原创 2024-05-11 23:59:16 · 570 阅读 · 0 评论 -
大数据最新【Redis高手修炼之路】③持久化_redis禁用手动的save怎么关闭(1),2024年最新大数据开发中常见的面试题
如果你只是使用Redis的缓存功能,而不需要持久化,那么你就可以注释掉所有的save行停用该功能。原创 2024-05-11 23:58:40 · 972 阅读 · 0 评论 -
大数据ELK(二):Elasticsearch简单介绍_elk是什么时候开始流行的(1)
Elasticsearch 聚合可以对数十亿行日志数据进行聚合分析,探索数据的趋势和规律。Shay Banon (谢巴农)电商 / 门户 / 论坛。原创 2024-05-11 15:23:17 · 903 阅读 · 0 评论 -
大数据-MapReduce和Yarn技术原理_执行mapreduce的时候为什么首先请求yarn
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**需要这份系统化资料的朋友,可以戳这里获取。原创 2024-05-11 15:22:41 · 632 阅读 · 0 评论 -
大数据-MapReduce和Yarn技术原理_执行mapreduce的时候为什么首先请求yarn(1)
将Map输出的记录进行排序。例如将(‘Hi’,‘1’),(‘Hello’,‘1’)重新排序为(‘Hello’,‘1’),(‘Hi’,‘1’)(3)组合(Combine)这个动作MR框架默认是可选的。例如将(‘Hi’,‘1’),(‘Hi’,‘1’),(‘Hello’,‘1’),(‘Hello’,‘1’)进行合并操作(‘Hi’,‘2’),(‘Hello’,‘2’)(4)合并(spill)原创 2024-05-11 15:22:05 · 725 阅读 · 0 评论 -
大数据-kafka学习笔记_error while fetching metadata with correlation id
也可以自定义分区器,自己决定数据要发到哪个分区中。原创 2024-05-11 15:21:29 · 845 阅读 · 0 评论