- 博客(71)
- 收藏
- 关注
RSS订阅原创 最新【微信小程序】一文读懂页面导航_微信小程序分类导航(4)，2024年最新程序员翻身之路
【代码】最新【微信小程序】一文读懂页面导航_微信小程序分类导航(4)，2024年最新程序员翻身之路。
2024-05-16 07:44:26
298
原创 最新【开发随记】【提效】工作习惯那些事系列之四，2024年最新大数据开发开发基础面试题
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！便通过以上两点，配合everything等工具，方便后续做检索、以及工作总结。
2024-05-16 07:43:54
440
原创 最新【开卷数据结构 】还不会实现堆吗？图文并茂深入理解堆，大厂程序员35岁后的职业出路在哪
*1）**首先检查堆是否满，如果不满，设 i 等于新堆的大小（n+1）。**2）**使用 while 循环从最大堆的新叶子结点开始，沿着根结点的路径走。**3）**一直到根结点或者位置 i ，使其父结点 i/2 的值不小于要插入的值。
2024-05-16 07:43:21
940
原创 最新【开卷数据结构 】多项式的链表表示_用链表表示多项式，2024年最新大数据开发系统工程师面试宝典
如果这两项的指数相同，那么把它们的系数相加，并生成一个新的结果项，然后移动这两个指针，分别指向多项式 a 和 b 的下一个结点。如果 a 的当前项指数小于 b 的当前项指数，那么生成 b 的副本项，加入到结果 d 中，并移动指针指向 b 的下一项。每次生成一个新结点，设置它的 coef 域和 expon 域，并将它添加到 d 的尾部，为了避免每次加入新结点时都搜索 d 的最后结点，使用函数 rear 指向 d 中最后的结点。**第三步：**a−>expon>b−>expon。
2024-05-16 07:42:48
907
原创 带你从零学大数据系列之Java篇---第十四章 正则表达式_java 大数据量字符串匹配算法(1)
/ 实现: 借助字符串中的一个方法 replaceAll(String regex, String replacement)// 将字符串中，满足指定正则的部分，替换成 replacement。// 需求: 将这个存储有所有的名字的字符串，名字之间的分隔用, 来替代。// 需求: 将一个存储有所有的姓名的字符串，切割出每一个名字。// 将字符串中，满足正则规则的子部分，切割掉。// 需求: 将一个手机号的中间4位替换成 ****// 1. 静态的校验。// 获取分组的数量。
2024-05-15 22:57:03
889
原创 师兄面试遇到面试官的 Kafka 暴击三连问，快面哭了！_kafka大厂面试题
关于存在硬盘中的消息，Kafka 也有它的解决方法，可以基于时间和 Partition 文件的大小，正常 Kafka 是默认七天的保存，也可以通过命令来修改，以 users topic 为例。作为一个消息系统，不可避免的便是消息的拷贝，常规的操作，一条消息，需要从创建者的socket到应用，再到操作系统内核，然后才能落盘。Kafka 把所有的消息都存放在一个一个的文件中，当消费者需要数据的时候 Kafka 直接把文件发送给消费者，配合 mmap 作为文件读写方式，直接把它传给 Sendfile。
2024-05-15 22:56:30
985
原创 师兄面试遇到面试官的 Kafka 暴击三连问，快面哭了！_kafka大厂面试题(3)
以上，便是Apache Kafka虽然使用了硬盘存储，但是仍然可以速度很快的原因。它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络 IO 损耗，通过 mmap 提高 I/O 速度。写入数据的时候由于单个 Partion 是末尾添加，所以速度最优；读取数据的时候配合 Sendfile 直接暴力输出。
2024-05-15 22:55:57
1994
原创 师兄面试遇到面试官的 Kafka 暴击三连问，快面哭了！_kafka大厂面试题(2)
以上，便是Apache Kafka虽然使用了硬盘存储，但是仍然可以速度很快的原因。它把所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络 IO 损耗，通过 mmap 提高 I/O 速度。写入数据的时候由于单个 Partion 是末尾添加，所以速度最优；读取数据的时候配合 Sendfile 直接暴力输出。
2024-05-15 22:55:24
758
原创 大数据最全Hadoop(02) Hadoop-3(2)，2024最新大数据开发算法相关面试大全
如下图是slave01的IP地址可以在master节点的hosts文件中增加如下两条IP和主机名映射关系，同时将debian修改成新的主机名：需要注意的是，一般hosts文件中只能有一个127.0.0.1，其对应主机名为localhost，如果有多余127.0.0.1映射，应删除，**特别是不能存在“127.0.0.1 hadoop01”也不能出现“127.0.1.1 hadoop01”这样的映射记录，否则会出现错误，导致datanode无法和namenode连接，。
2024-05-15 12:18:41
384
原创 大数据最全hadoop 常用命令(1)，大数据开发面试复习
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后，重启 datanode 服务，问题就解决了。– load后会在配置文件决定的固定目录下产生一个表名对应的目录，目录下为对应的数据文件。
2024-05-15 12:18:04
247
原创 大数据最全Git：分布式版本控制系统，大数据开发架构师必备技术
是分支的名称，表示要拉取更新的分支。分支是代码仓库中的一个独立的开发路径，用于并行开发和管理不同的功能或版本。通过指定分支的名称，等平台上的仓库，也可以是其他开发者共享的仓库。通过指定远程仓库的名称，命令会将远程仓库指定分支的最新代码合并到当前本地分支。远程仓库是指存储在远程服务器上的代码仓库，可以是。命令会从该远程仓库获取最新的代码更新。讲解视频，并且后续会持续更新**是远程仓库的名称，通常默认为"
2024-05-15 12:17:28
356
原创 大数据最全git基础命令 最常用的命令 看这一篇就够了(1)，2024年最新一个APP从启动到主页面显示经历了哪些过程
第一次连接时有一个问题回答yes即可 出现 successfully 则测试成功。将出现的公钥复制到远程仓库SSH公钥设置中！使用的是gitee(码云)仓库。
2024-05-15 12:16:51
420
原创 【数据结构 C语言版】第七篇 堆_typedef int hpdatatype； typedef struct heap { int (1)
因为本文建的是小堆，所以如果孩子小于双亲，那么就交换（小堆：parent>child）。终止位置：走到a[child]>a[parent]的时候,或者Child>=n。堆是一棵被完全填满的二叉树，有可能的例外是在底层，底层上的元素从左到右填入。注意：有的教材第0位不存数字,也就是从1开始。但是本文的堆数组是从0开始的。最后：走到a[child]>a[parent]的时候,或者childchild一直存在，那么就一直执行下去，堆的结构，堆是用数组实现的。起始位置：child的位置。
2024-05-15 03:39:56
856
原创 【数据科学项目1】：构建你的第一个数据科学项目_health index(2)
选择合适的算法将取决于数据的类型。例如，如果数据是连续的，您将应用回归建模，如果数据是分类的，您将应用分类算法建模。作为一名数据科学家，您将尝试许多模型来获得最合适的模型。选择正确的模型之前，尝试并测试数据集上所有可能的模型。列出要在数据集上进行的操作，以便在开始之前有一个清晰的路径。R2为0.74，说明模型解释了数据74%的信息，我们下面来看一些更complex的模型。上面的参数是我随机设定，大家还可以对其进行调参能提高一定的效果，调参的代码我上传到。在这里，我们首先使用线性回归模型作为基准模型。
2024-05-15 03:39:20
875
原创 【数据科学项目1】：构建你的第一个数据科学项目_health index(1)
你可以从官方来源收集预先存在的数据集，你可以从数据库中导入数据，你可以直接从网页上抓取数据，你可以通过一些社交媒体渠道收集数据，你还可以利用在线表格进行数据收集。此阶段的主要目标是对数据进行完整性检查，而完成此任务的最佳方法是寻找不可能或极不可能的事情。一个好的做法是对数据运行一些简单的统计测试并将其可视化，以快速了解数据的统计属性并检测可能的异常值。例如，如果数据是连续的，您将应用回归建模，如果数据是分类的，您将应用分类算法建模。现在，问题来了，你从哪里收集你想要开展的任何项目的数据？
2024-05-15 03:38:44
945
原创 【数据库】01——精通数据库需要掌握这九个维度_数据库要掌握哪些技术
数据库管理系统就是由互相关联的数据集合和一组用于访问这些数据的程序组成，简称数据库。即，数据库=数据+程序。数据库的目标就是方便、高效、安全的存储、管理数据信息。数据库的定义语言DDL与数据库的操作语言DML都是数据库系统的操作语言，他们都是SQL语言的一部分，关系型数据库几乎都使用SQL语言。数据定义语言DDL用来进行数据存储和定义。域约束。如，整数型、字符型、日期、时间等。引用完整性。一个course中记录的dept_name必须出现在department关系中某个记录的dept_name属性中。
2024-05-15 03:38:08
751
原创 Python入门到进阶好书推荐看这篇就够了_荐书python变成 从入门(2)
这本作为入门Python的经典之作【一般以动物为封面的书都比较不错】，是很多博客，以及公众号文章推荐比较多的书籍了，既然大家都说好，书的质量肯定也是很高的，我相信用它作为你的第一本Python入门书籍应该是没有太大问题滴。Head First 系列的书籍一直饱受赞誉，这本也不例外，本书有很多助于理解的图片，让你的Python学习，不会非常的枯燥。笨办法学Python有很多的版本，我分享的是第二和第四版，这本书就是一本实践书，通过多书中大量例题的训练，我相信你的代码运用熟练度一定能够得到质的飞跃。
2024-05-14 18:18:26
818
原创 Python入门到进阶好书推荐看这篇就够了_荐书python变成 从入门(1)
这本作为入门Python的经典之作【一般以动物为封面的书都比较不错】，是很多博客，以及公众号文章推荐比较多的书籍了，既然大家都说好，书的质量肯定也是很高的，我相信用它作为你的第一本Python入门书籍应该是没有太大问题滴。
2024-05-14 18:17:50
860
原创 python中的递归、回调函数以及闭包总结_编写python函数,分别实现函数的闭包和函数递归。
【代码】python中的递归、回调函数以及闭包总结_编写python函数,分别实现函数的闭包和函数递归。
2024-05-14 18:17:14
232
原创 python中的递归、回调函数以及闭包总结_编写python函数,分别实现函数的闭包和函数递归。(1)
产生的随机列表为: [76, 67, 42, 18, 41, 24, 71, 28, 95, 19]p.close() #todo 关闭进程池，关闭后，p不再接收新的请求。print(‘进程池中的子进程id:’,os.getpid())print(‘主进程id:’, os.getppid())print(‘主进程id:’,os.getppid())奇数列表: [67, 41, 71, 95, 19]print(‘-----结束-------’)print(‘----开始----’)
2024-05-14 18:16:38
537
原创 2024年最新Python基础（一）：Python入门介绍(1)，2024大厂大数据开发知识点总结
Python是时下最流⾏、最⽕爆的编程语⾔之⼀。它是一种在 AI 开发中受到关注的编程语言，并且由于有专门用于机器学习的库，因此它已被用作 AI 开发的标准语言。此外由于它简单易懂，因此经常用于编程教育。除了 AI 开发之外，它还用于 Web 应用程序和游戏开发等各个领域。流行的具体原因如下：1、简单、易学，适应⼈群⼴泛2、免费、开源3.、应⽤领域⼴泛Google开源机器学习框架：TensorFlow开源社区主推学习框架：Scikit-learn百度开源深度学习框架：Paddle二、
2024-05-14 09:39:44
337
原创 2024年最新Python基础知识入门（四）_python x != 0，2024年大数据开发社招面试题
def num(x, *args, **kwargs): # 设置位置参数 x 和 不定长参数 args、kwargs。num(2,3) # 传入位置参数 x 值，参数 y 值取传入位置参数值，返回 2 3。print(f(1, 2, c =3 )) # 也就是说 * 号后面参数 c 传入时必须是以关键参数进行传入。’) # 打印执行函数内语句 Hello World!print(num(2, 3)) # (2, 3),多个返回值会以元组形式返回。
2024-05-14 09:39:08
281
原创 2024年最新Python基础知识入门（四）_python x != 0(1)，2024年最新我三年开发经验从字节跳动抖音离职后
*5）强制位置参数：**Python3.8 新增了一个函数形参语法 / 用来指明函数形参必须使用指定位置参数，不能使用关键字参数的形式。**3）默认参数：**定义函数时，给参数赋值一个默认值，调用函数时，如果没有传入位置参数的值，则在函数内部使用参数默认值。函数定义∶函数是一种仅在调用时运行的代码块，可以将数据（称为参数）传递到函数中，把数据作为结果返回；**4）不定长参数：**当函数需要处理的参数个数不确定时，可使用不定长参数。参数和函数调用关系紧密，函数调用通过 [参数名 = 值] 的方式传入参数。
2024-05-14 09:38:32
304
原创 2024年最新postgis空间数据导入及可视化_postgis导入数据，写给正在求职的大数据开发开发
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！当你拿到矢量数据后，为了让大家进行共享数据，而不是依赖于读取文件这种方式进行数据读取，可以采用数据库这种方式进行分享。众所周知，postgis是一个开源的高性能空间数据库，其基于postgresql数据库进行扩展，完整支持OGC标准，同时提供了空间管理及空间分析等丰富的函数支撑。本文将以矢量数据为例，分享三种常见的矢量数据导入到postgis数据库的方法。
2024-05-14 09:37:56
438
原创 2024年大数据最新大数据~大数据预处理整体架构（数据清洗、数据集成、数据转换(2)，一份非常适合收藏的大数据开发进阶面试题
数据处理常常涉及数据集成操作，即将来自多个数据源的数据，如数据库、数据立方、普通文件等，结合在一起并形成一个统一数据集合，以便为数据处理工作的顺利完成提供完整的数据基础。假设在分析一个商场销售数据时，发现有多个记录中的属性值为空，如顾客的收入属性，则对于为空的属性值，可以采用以下方法进行遗漏数据处理。对数据进行总结或合计操作。例如，街道属性可以泛化到更高层次的概念，如城市、国家，数值型的属性，如年龄属性，可以映射到更高层次的概念，如年轻、中年和老年。现实世界的数据常常是不完全的、有异常数据的、不一致的。
2024-05-14 01:00:55
849
原创 2024年大数据最新大数据StarRocks(五) ：数据类型_starrocks 数据类型，2024年最新字节跳动算法工程师面试总结
JSON 是一种轻量级的数据交换格式，JSON 类型的数据是一种半结构化的数据，支持树形结构。HLL 是基于 HyperLogLog 算法的工程实现，用于保存 HyperLogLog 计算过程的中间结果，HLL 类型的列只能作为表的 value 列类型，通过聚合来不断的减少数据量，以此来实现加快查询的目的。本文介绍 JSON 的基本概念，以及 StarRocks 如何创建 JSON 类型的列、导入和查询 JSON 数据，通过 JSON 函数及运算符构造和处理 JSON 数据。
2024-05-14 01:00:19
469
原创 2024年大数据最新大数据StarRocks(七)：数据表创建，2024年最新技术水平真的很重要
建表的基本语法[key_desc]参数说明col_name：列名称注意，在一般情况下，不能直接创建以以 __op 或 __row 开头命名的列，因为此类列名被 StarRocks 保留用于特殊目的，创建这样的列可能导致未知行为。如需创建这样的列，必须将 FE 动态参数 allow_system_reserved_names 设置为 TRUE。col_type：列数据类型之前博文数据类型agg_type：聚合类型，如果不指定，则该列为 key 列。否则，该列为 value 列。
2024-05-14 00:59:44
626
原创 2024年大数据最新大数据StarRocks(一) StarRocks概述(2)，2024年最新大厂经典高频面试题体系化集合
StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化、升级架构，并增添了众多全新功能，形成了全新的企业级产品。
2024-05-14 00:59:06
543
原创 进行大数据测试需要关注那些测试点？_大数据测试需要了解业务吗(2)
数据爬取的是否正确、数据入库是否正确、存储的表及字段信息是否正确等。2.数据全面性：测试通过数据分析拿到的爬虫数据对应的友商是否全面，即：除了竞品或友商中A的数据应该获取，竞品或友商B、C、D的数据是否有考虑，通常在需求评审阶段提出，测试获取的数据是否完整 等。3.数据完整性：测试分析目标数据确保指定时间范围内每天有数据，排除被风控了的情况、数据是否重复，例：同1条URL对应2条结果数据，数据预期与结果总条数一致，表数据信息是一致、是否有遗漏的情况。二、大数据的可靠性与数据的处理效率。
2024-05-12 21:55:00
240
原创 进行大数据测试需要关注那些测试点？_大数据测试需要了解业务吗(1)
数据爬取的是否正确、数据入库是否正确、存储的表及字段信息是否正确等。5.数据准确性：测试获取到数据的结果表与数据源头表是否一致，可能源表经过A -> B -> C处理后得到结果表，所以需要验证整个过程数据是否丢失，确保数据的准确与一致性，可基于数据的总量来考量验证。2.数据全面性：测试通过数据分析拿到的爬虫数据对应的友商是否全面，即：除了竞品或友商中A的数据应该获取，竞品或友商B、C、D的数据是否有考虑，通常在需求评审阶段提出，测试获取的数据是否完整 等。二、大数据的可靠性与数据的处理效率。
2024-05-12 21:54:23
275
原创 这8个Python小细节，让你在大数据领域事半功倍_python 大数据领域 特点
具体来说， map() 函数接收一个列表，和一个函数，它对列表里的每个元素调用一个函数进行处理，再将结果放进一个新列表里。基本上，它们让你无需费心构造一个函数，而是直接使用这个函数。而 filter() 函数略有不同，它接收一个列表，和一个规则函数，在对列表里的每个元素调用这个规则函数之后，它把所有返回值为假的元素从列表中剔除，然后返回这个过滤后的子列表。上面这个动图就是一个很好的例子，原来的代码就是采用 for 循环生成列表的方法，而图上一步一步将它改造成了一个只有一行代码的列表生成式，再也不用循环啦。
2024-05-12 21:53:47
336
原创 这8个Python小细节，让你在大数据领域事半功倍_python 大数据领域 特点(3)
具体来说， map() 函数接收一个列表，和一个函数，它对列表里的每个元素调用一个函数进行处理，再将结果放进一个新列表里。基本上，它们让你无需费心构造一个函数，而是直接使用这个函数。而 filter() 函数略有不同，它接收一个列表，和一个规则函数，在对列表里的每个元素调用这个规则函数之后，它把所有返回值为假的元素从列表中剔除，然后返回这个过滤后的子列表。上面这个动图就是一个很好的例子，原来的代码就是采用 for 循环生成列表的方法，而图上一步一步将它改造成了一个只有一行代码的列表生成式，再也不用循环啦。
2024-05-12 21:53:11
316
原创 微服务实战 集中配置中心Config对称加密实战_配置中心中明文加密(1)
可逆算法中的对称加密和非对称加密在 Spring Cloud Config 中都得到支持，下面我们就开始实战。
2024-05-12 04:44:42
700
原创 微服务实战 Eureka注册中心及集群搭建_注册中心部署应用服务器集群
在2020年4月之前，为了避免与子项目混淆，SpringCloud版本是依据伦敦地铁站名命名，并按照字母顺序发布：比如Angle、Brixton、Camden、Edgware、Finchley、GreenWich、Hoxton等。SNAPSHOT： 快照版本，不稳定、尚处于开发中的版本；M： MileStone，M1表示第1个里程碑版本；RC：Release Candidate，候选版本，一般标注PRE表示预览版，几乎不会再加入新的功能，只修复bug；RELEASE。
2024-05-12 04:44:06
1037
原创 微服务实战 Eureka注册中心及集群搭建_注册中心部署应用服务器集群(3)
微服务架构已在云原生架构中发挥着举足轻重的作用，而SpingCloud无疑是微服务架构的集大成者，云计算最佳业务实践。服务注册与发现：如Eureka、Consul、Nacos、zookeeper等；服务配置管理：如SpringCloud config、zookeeper、Nacos、Apollo等；服务调用：如Feign、Ribbon、RestTemplate等；服务熔断：如Hystrix、Sentinel等；服务网关：如SpringCloud Gateway、Zuul等；
2024-05-12 04:43:30
817
原创 微服务实战 Eureka注册中心及集群搭建_注册中心部署应用服务器集群(2)
微服务架构已在云原生架构中发挥着举足轻重的作用，而SpingCloud无疑是微服务架构的集大成者，云计算最佳业务实践。服务注册与发现：如Eureka、Consul、Nacos、zookeeper等；服务配置管理：如SpringCloud config、zookeeper、Nacos、Apollo等；服务调用：如Feign、Ribbon、RestTemplate等；服务熔断：如Hystrix、Sentinel等；服务网关：如SpringCloud Gateway、Zuul等；
2024-05-12 04:42:54
633
原创 大数据最全多元高斯分布，2024年最新大数据开发面试题集锦
通过求偏导我们可以得到u,Σ的最优解。多元高斯分布和上面所说的将第一维当做一个一维的变量，然后使用u1以及σ1来衡量他的分布，同样，对于第二维使用u2以及σ2来衡量，然后将得到的obj=p(x1;un, σn)的模型有着联系，后者是多元高斯分布的一种特例，当n维变量X的每一维都相互独立，也就是说多元高斯分布对应的Σ是一个对角矩阵，除了主对角线上的数外，其余数都为0，此时多元高斯分布可以写成上述形式，注意，模型obj没有要求每一维是相互独立的。
2024-05-11 20:05:35
919
原创 大数据最全基于微信小程序云开（统计学生信息并导出excel）4，2024年最新2024大数据开发精选面试实战总结整理
我们在通过授权登录按钮绑定的denglu事件函数中来根据页面中的：（如下所示）这两个系统名称以及系统图标 是否用户点击了授权登录，如果点击了授权登录（已登录的状态），我们的系统的名称和图标就会变成用户的微信头像和微信昵称：（如下所示）所以我们就可以根据以上的说明，来根据当name和path着两个变量名改变的时候LJJR 这个变量也会跟着前面的两个变量进入data：{}当中，这是我们提前在wxml中写好的z-index：{LJJR}就起作用了！
2024-05-11 20:04:59
527
原创 大数据最全基于大数据的房价分析--2(3)，我在美团大数据开发研发岗工作的那5年
print(“地址解析错误,status:”+str(jsonResult[‘status’])+“,msg:”+jsonResult[‘msg’]+“,errorUrl:”+urlResult)print(“存储数据异常,检查该条数据sumprice:”+data[‘sumPrice’]+data[‘address’])print(“成功插入第%s条数据,解析的地址为:%s”%(self.oklength,data[‘address’]))#数据集中没有带解析的数据,解析该条数据。#用于存储结果的集合。
2024-05-11 20:04:23
925
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人