- 博客(71)
- 收藏
- 关注
RSS订阅原创 最新【大数据】【Spark】Spark运行架构_spark大数据框架(2)，2024年最新斗鱼大数据开发开发二面被刷
Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件：Master 和 Worker，这里的 Master 是一个进程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于 Yarn 环境中的 RM, 而Worker 呢，也是进程，一个 Worker 运行在集群中的一台服务器上，由 Master 分配资源对数据进行并行的处理和计算，类似于 Yarn 环境中 NM。在提交应用中，可以提供参数指定计算节点的个数，以及对应的资源。
2024-05-16 07:39:48
634
原创 最新【大数据】Mac下安装hadoop-scala-spark(1)，2024年最新重难点整理
(6)配置hdfs-site.xml【修改hdfs备份数】：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/hdfs-site.xml => 添加配置。并且建立文件夹 mkdir /usr/local/Cellar/hadoop/hdfs & mkdir /usr/local/Cellar/hadoop/hdfs/tmp。5、系统环境变量~/.bash_profile，便于在任何目录下执行一些命令。,注意端口号是9870而不是50070。
2024-05-16 07:39:16
767
原创 最新【大数据】kafka 线上会遇到哪些问题？_kafka线上问题，2024年最新专题解析
kafka是通过HW（High Water Mark） 机制来保证数据的一致性。（1）follower故障follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW，即follower追上leader之后，就可以重新加入ISR了。（2）leader故障。
2024-05-16 07:38:43
770
原创 最新【吴恩达机器学习笔记】十二、降维_主成分数量选择(1)，2024年最新2024新鲜出炉阿里巴巴面试真题
这节课再来将一下降维的第二个应用可视化，假设我们现在有很多数据关于每个国家的信息，每个国家都有50个指标表示即50维，现在我们通过一系列变换将50维降到2维，这可能就很难理解2维是如何表示国家的情况。那我们可以通过图像去理解这些信息，假设横轴代表国家的GDP而纵轴代表人均的GDP，就能很直观的表现出来。
2024-05-16 07:38:10
639
原创 工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）_笛卡尔积sql(4)
在关系数据库中，一个查询往往会涉及多个表，因为很少有数据库只有一个表，而如果大多查询只涉及到一个表的，那么那个表也往往低于第三范式，存在大量冗余和异常。因此，连接(Join)就是一种把多个表连接成一个表的重要手段.比如简单两个表连接学生表(Student)和班级(Class)表，如图:笛卡尔积笛卡尔积在SQL中的实现方式既是交叉连接(Cross Join)。所有连接方式都会先生成临时笛卡尔积表，笛卡尔积是关系代数里的一个概念，表示两个表中的每一行数据任意组合,上图中两个表连接即为笛卡尔积(交叉连接)
2024-05-15 22:52:25
983
原创 工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）_笛卡尔积sql(3)
【代码】工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）_笛卡尔积sql(3)
2024-05-15 22:51:52
887
原创 工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）_笛卡尔积sql(2)
上面笛卡尔积的概念是关系代数中的概念，而我在前一篇文章中提到还有关系演算的查询方法.上面的关系代数是分布理解的，上面的语句推导过程是这样的：“对表Student和Class进行内连接，匹配所有ClassID和StudentClassID相等行，选择所有的列”自连接的是一种特殊的连接，是对物理上相同但逻辑上不相同的表进行连接的方式。而关系演算法，更多关注的是我想要什么,比如说上面同样查询，用关系演算法思考的方式是“给我找到所有学生的信息，包括他们的班级信息，班级ID，学生ID，学生姓名”
2024-05-15 22:51:20
587
原创 工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）_笛卡尔积sql(1)
【代码】工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）_笛卡尔积sql(1)
2024-05-15 22:50:47
305
原创 大数据最全flink重温笔记（九）：Flink 高级 API 开发—，2024年最新讲的太透彻了
数据>>>> MonotonousWaterMark.WaterSensor(id=sensor_6, ts=1547718210, vc=15)数据>>>> MonotonousWaterMark.WaterSensor(id=sensor_6, ts=1547718201, vc=15)数据>>>> MonotonousWaterMark.WaterSensor(id=sensor_6, ts=1547718205, vc=15)//设置webui的端口号。
2024-05-15 12:13:33
300
原创 大数据最全Flink的时间类型和窗口概述，助你进阶Flink，畅游大数据时代(2)，2024年最新看这一篇就够了
Flink窗口介绍及应用Windows是Flink流计算的核心，本文将概括的介绍几种窗口的概念，重点只放在窗口的应用上。一、窗口（window）的类型对于窗口的操作主要分为两种，分别对于Keyedstream和Datastream。他们的主要区别也仅仅在于建立窗口的时候一个为.window(…)，一个为.windowAll(…)。对于Keyedstream的窗口来说，他可以使得多任务并行计算，每一个logical key stream将会被独立的进行处理。stream。
2024-05-15 12:12:56
294
原创 大数据最全Flink实战(19)：flink反压_什么是flink反压(1)，大数据开发语言基础教程培训
过了一段时间后由于上游的发送速率要大于下游的接受速率，下游的 TaskManager 的 Buffer 已经到达了申请上限，这时候下游就会向上游返回 Credit = 0，ResultSubPartition 接收到之后就不会向 Netty 去传输数据，上游 TaskManager 的 Buffer 也很快耗尽，达到反压的效果，这样在 ResultSubPartition 层就能感知到反压，不用通过 Socket 和 Netty 一层层地向上反馈，降低了反压生效的延迟。
2024-05-15 12:12:19
296
原创 大数据最全Flink之FileSink将数据写入parquet文件_flink写parquet文件(2)，2024年最新2024BTAJ面试真题详解
@deprecated use {@link AvroParquetWriters} instead. // 看这部分是建议使用AvroParquetWriters。@Deprecated // 这里已经标注了过时。* @Description: 测试。
2024-05-15 12:11:42
384
原创 【数据分析之道-基础知识(八)】循环语句_python重复运行代码直到某个条件(1)
在 Python 中，else 语句可以和 for、while 循环一起使用，用于在循环正常执行完毕后执行一些操作。for循环也可以遍历一个数值区间，使用range()函数可以很方便地生成一个数值序列。其中，start是起始值，stop是终止值（不包括），step是步长（默认为1）。Python中的while循环语句可以重复执行一段代码，直到不满足特定的条件为止。循环语句中可以使用break和continue来控制循环的执行。除了以上三种循环控制语句，
2024-05-15 03:34:49
294
原创 【数据分析之道-NumPy(二)】多种方式创建数组_创建一个3行4列的二维数组
【代码】【数据分析之道-NumPy(二)】多种方式创建数组_创建一个3行4列的二维数组。
2024-05-15 03:34:13
295
原创 【数仓环境搭建】超详细大数据常用框架集群搭建合集 附带详细安装过程_搭建大数据处理框架 教程
很多小伙伴在学习大数据的时候应该都遇到过集群环境搭建的问题，需要考虑到各个框架之间的兼容性，搭建起来也比较麻烦。本篇文章汇总了大数据开发中的常用组件集群搭建过程，附带了详细的搭建过程截图，提供了对应版本的安装包确保环境兼容。主要包括。为了方便查阅，本篇文章对应搭建过程已经生成文档供大家参考。关注最下方公众号**【大数据小禅】，联系我备注【集群搭建】**获取对应搭建文档与相关安装包。
2024-05-15 03:33:01
305
原创 Python 教程之输入输出（1）—— 在 Python 中接受输入_python接收用户键盘输入
此函数适用于旧版本（如 Python 2.x）。此函数准确获取从键盘输入的内容，将其转换为字符串，然后将其返回给我们要存储它的变量。
2024-05-14 18:13:18
250
原创 Python Flask框架-开发简单博客-项目布局、应用设置_python flask简单项目
个人博客使用Flask框架2.1.2, 数据库sqlite, 开发软件Pycharm专业版（社区版也可）
2024-05-14 18:12:41
587
原创 Python Flask框架-开发简单博客-项目布局、应用设置_python flask简单项目(1)
个人博客使用Flask框架2.1.2, 数据库sqlite, 开发软件Pycharm专业版（社区版也可）
2024-05-14 18:12:06
791
原创 Python Flask框架-开发简单博客-定义和操作数据库_flask创建数据库
开发的个人博客，计划使用SQLite 数据库来储存用户和博客内容。Python 内置了 SQLite 数据库支持，相应的模块为 sqlite3如果你不是很熟悉 SQL ，请先阅读SQLite 官方文档，不用精通，能使用即可。计划建两个表分别为user表和post表,sql表文件保存路径为。
2024-05-14 18:11:29
905
原创 2024年最新OneDNS助力高校行业网络安全_大学加密dns(1)，2024年最新【面试必会】
近年来，黑客和黑产团伙攻击手 段呈现多样化实战化，除传统僵木蠕外，各类新型、复杂甚至未知威胁高发，包括远控木马、 后门程序、勒索病毒、挖矿木马等。此外，APT 组织通过外部渗透和社工手段，持续对高校科研成果窃取，且此高校网络出口无限制，部署的传统防火墙、上网行为管理产品防护单一， 极易感染勒索病毒造成大规模传播。学生安全意识和防护水平各不相同，经常混用 U 盘、打开钓鱼邮件、点击恶意链接、浏览风险网站、安装不可信程序等。
2024-05-14 09:34:38
381
原创 2024年最新nnunet入门之二 (MRI图像分割)_nnunet mri，阿里P7大牛亲自教你
选择Linux环境运行该项目，Windows环境需要更改较多的参数，暂不支持。
2024-05-14 09:34:02
365
原创 2024年最新Nmap使用教程图文教程（超详细），2024年最新腾讯&字节&爱奇艺&网易&华为实习面试汇总
从上图可以看到：它用1.58秒扫描了1000个端口，其中991个端口关闭，结果中列出的9个端口就是开放的端口。
2024-05-14 09:33:26
226
原创 2024年最新Nasu Elasticsearch Charts：轻松实现数据可视化的利器(2)，2024年最新被面试官问的大数据开发问题难倒了
随着信息时代的到来，数据已经成为企业决策的关键因素之一。Elasticsearch作为一种强大的搜索和分析引擎，为用户提供了快速、实时的数据检索和分析能力。在众多Elastic Stack组件中，图表可视化工具则是将数据呈现得直观、清晰的关键环节。本文将深入探讨Nasu Elasticsearch Charts 图表可视化工具的使用，帮助读者更好地理解和应用这一工具。
2024-05-14 09:32:49
262
原创 2024年大数据最新基于微信小程序云开（统计学生信息并导出excel）4，写给大数据开发软件工程师的3条建议
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！网络 | 微信开放文档 (qq.com)")我们先不把z-index这个属性写死，我们给他动态的绑定一个数据！如上代码！这里我们“立即进入”的样式写在button
2024-05-14 00:55:46
902
原创 2024年大数据最新基于大数据的房价分析--4，阿里高级算法专家公开10份资料
开启组件扫描拦截器用于指定首页使用bean定义一个Interceptor，直接定义在mvc:interceptors根下面的Interceptor将拦截所有的请求定义在mvc:interceptor下面的表示是对特定的请求才进行拦截的视图解析器配置文件解析器。
2024-05-14 00:55:10
866
原创 2024年大数据最新基于大数据技术和协同过滤算法的图书推荐系统的开发【附源码】，2024年最新vivo大数据开发开发面试
随着信息技术的不断发展，人们获取知识的途径也发生了巨大的变化。传统的图书馆借阅方式逐渐被数字化图书馆、网上图书馆所取代。用户可以通过互联网轻松获取图书信息，而图书推荐系统正是其中的重要组成部分。图书推荐系统根据用户的兴趣和历史行为数据，为用户提供个性化的图书推荐，提高用户阅读体验，同时也促进图书借阅服务的发展。大数据技术作为近年来兴起的一种新型技术，具有海量数据处理、即时分析和智能推荐等独特优势，为图书推荐系统的优化提供了新的思路和方法。
2024-05-14 00:54:34
911
原创 2024年大数据最新基于协同过滤算法的推荐_基于项目的协同过滤算法(3)，大数据尽然还能有这种操作
数据源：本数据源为天池大赛提供数据，数据按时间分为两份，分别是7月份之前的购买行为数据和7月份之后的。
2024-05-14 00:53:57
611
原创 还是分不清非阻塞赋值与阻塞赋值吗？_testbench中阻塞和非阻塞有区别吗(1)
那么根据组合逻辑实时输出的特性，输出Y就会提前2ns从0变成1，但是，我们需要的是其在第一个10ns的期间保持0，而在第二个10ns保持1。而时序逻辑电路在逻辑功能上的特点是任意时刻的输出不仅取决于当时的输入信号，而且还取决于电路原来的状态，或者说，还与以前的输入有关。在时序电路中，加入了一个时钟信号，有了这个时钟信号后，就可以只在时钟信号的上升沿或者下降沿对输入信号进行采样，而在其他时候则让它保持上一次的输出即可。显然，这是组合逻辑的一种。可以看到，输入、输出的变化是实时同步的，这也是组合逻辑的特点。
2024-05-12 21:49:52
966
原创 软考加密类型题(7个历年类型题【答案在底部】选择题1分必得)_对称加密算法题目
对于下表中的头部注释一定好记住，**对称秘钥算法也叫：**私钥、私有秘钥、共享秘钥。**非对称秘钥算法也叫：**公钥、公开秘钥、数字签名。考试的时候都是拐弯着出名字。
2024-05-12 21:49:16
750
原创 软考加密类型题(7个历年类型题【答案在底部】选择题1分必得)_对称加密算法题目(1)
*对称秘钥算法也叫：**私钥、私有秘钥、共享秘钥。**非对称秘钥算法也叫：**公钥、公开秘钥、数字签名。考试的时候都是拐弯着出名字。
2024-05-12 21:48:40
347
原创 软考中级(软件设计师)——计算机组成和体系结构(占6分)_43ffh怎么转化为4400h
当该位位于小数点左边，k值是该位和小数点之间数码的个数,而当该位位于小数点右边，k值是负值，其绝对值是该位和小数点之间数码的个数加1。十六进制麻烦一些需要加上A、B、C、D、E这六个英文字母，代表11、12、13、14、15，刚好凑上0-15的16进制，因为到了16肯定要进1，故而有0-15就够用了。二进制计算n次方就行，就像十进制的7=2的2次方+2的1次方+2的零次方=4+2+1=100+10+1，组合在一起也就是111。1、正数的源码、反码、补码都是一样的，例如上图的数值1表示方法。
2024-05-12 21:48:04
590
原创 强！一位程序员大佬用Python做了一个大数据搜索引擎，真牛皮！_csdn python search engine 搜索引擎
然后加入‘bird’对象，布隆过滤器的内容并没有改变，因为‘bird’和‘fish’恰好拥有相同的哈希。最后我们检查一堆对象（‘dog’, ‘fish’, ‘cat’, ‘bird’, ‘duck’, ‘emu’）是不是已经被索引了。结果发现‘duck’返回True，2而‘emu’返回False。因为‘duck’的哈希恰好和‘dog’是一样的。
2024-05-12 04:39:35
683
原创 开源分析数据库ClickHouse和开源esProc SPL的性能对比_clickhouse 计算 q1,q2, q3
开源esProc SPL也是以高性能作为宣传点，那么我们再来比较一下。仍然是跑TPC-H来看 ：Q2、Q3、Q7这些较复杂的运算，SPL比CH和ORA跑的都快。CH跑不出结果的Q8、Q9，SPL分别跑了37秒和68秒，也比ORA快。原因在于SPL可以采用更优的算法，其计算复杂度低于被ORA优化过的SQL，更远低于CH执行的SQL，再加上列存，最终是用Java开发的SPL跑赢了C++实现的CH和ORA。大概可以得到结论，esProc SPL无论做简单计算，还是复杂计算性能都非常好。
2024-05-12 04:38:58
751
原创 开源分析数据库ClickHouse和开源esProc SPL的性能对比_clickhouse 计算 q1,q2, q3(4)
当前版本的SPL是用Java写的，Java读数后生成用于计算的对象的速度很慢，而用C++开发的CH则没有这个问题。对于复杂的运算，读数时间占比不高，Java生成对象慢造成的拖累还不明显；而对于简单的遍历运算，读数时间占比很高，所以前面测试中SPL就会比CH更慢。列式游标优化了读数方案，不再生成一个个小对象，使对象生成次数大幅降低，这时候就能把差距拉回来了。单纯从存储本身看，SPL和CH相比并没有明显的优劣之分。
2024-05-12 04:38:23
871
原创 开源分析数据库ClickHouse和开源esProc SPL的性能对比_clickhouse 计算 q1,q2, q3(3)
CH和ORA都基于SQL语言，但是ORA能优化出来的语句，CH却跑不出来，更证明CH的优化引擎能力比较差。坊间传说，CH只擅长做单表遍历运算，有关联运算时甚至跑不过MySQL，看来并非虚妄胡说。想用CH的同学要掂量一下了，这种场景到底能有多大的适应面？
2024-05-12 04:37:47
941
原创 大数据最全图解curator如何实现zookeeper分布式锁_curator 锁，非科班程序员金三银四求职经历
至此，Zookeeper系列的内容已出：1.zookeeper集群搭建2.Zookeeper集群选举机制3.Paxos算法解析4.Zookeeper（curator）实现分布式锁案例紧接着上一篇的内容，从源码层面来看curator是如何实现zookeeper分布式锁的？zk用/lock节点作为分布式锁，当不同的客户端到zk竞争这把锁的时候，zk会按顺序给不同的客户端创建一个临时子节点，挂在作为分布式锁的节点下面。假设第一个来到的客户端为A，第二个来到的是B，分布式锁节点下挂的第一个节点就是A（
2024-05-11 20:01:04
2019
原创 大数据最全图像超分综述 超长文一网打尽图像超分的前世今生 (附核心代码)，教你一种更清晰的大数据开发架构
论文代码MatLabTensorFlowPytorchKeras创新点：基于深度学习的图像超分辨率重建开山之作。对于一张低分辨率图像，首先采用双三次插值 (bicubic) 的方法将其变换到真实高分辨率图像的大小尺寸。将插值后的图像作为卷积神经网络的输入，最后得到重建的高分辨率图像。主观效果：相比传统方法，SRCNN 重建后的图像质量更高。不足：(1) 依赖于图像区域信息；(2) 训练收敛速度太慢；(3) 网络只适用于单一尺度输入。核心代码return out。
2024-05-11 20:00:27
846
原创 大数据最全卷起来——高级数据分析师，2024年最新大数据开发基础面试
但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-05-11 19:59:51
390
原创 大数据最全助力工业物联网，工业大数据之油站事实指标需求分析【十九】(3)，惊喜
【代码】大数据最全助力工业物联网，工业大数据之油站事实指标需求分析【十九】(3)，惊喜。
2024-05-11 19:59:15
887
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人