- 博客(195)
- 收藏
- 关注
RSS订阅原创 最全独孤九剑第九式-AdaBoost模型和GBDT模型_独孤九剑实战模型，2024年最新百度、阿里、滴滴、新浪的面试心经总结
上一次在第八式中我们讲解了关于无监督学习得聚类算法，其中包括了K-means算法和DBSCAN聚类算法（密度聚类算法），目的就是为了通过计算和相关知识，将数据点分成一个一个簇，从而进行相关研究，这一部分无论在本科论文或者式研究生论文中做学科交叉都用的比较多，希望各位引起重视，内容属于简单易学，非常适合我们新手进行学习，接下来，我们讲继续讲解关于监督学习得相关内容，其中包括关于决策树得相关内容，我们目标是在决策树单棵树上继续做出改进，得到提升树，来提升预测或者分类得精度。然后我们闲话少叙，进入今天得正题。
2024-05-16 05:08:03
675
原创 最全独孤九剑第九式-AdaBoost模型和GBDT模型_独孤九剑实战模型(3)，2024年最新面试建议
上一次在第八式中我们讲解了关于无监督学习得聚类算法，其中包括了K-means算法和DBSCAN聚类算法（密度聚类算法），目的就是为了通过计算和相关知识，将数据点分成一个一个簇，从而进行相关研究，这一部分无论在本科论文或者式研究生论文中做学科交叉都用的比较多，希望各位引起重视，内容属于简单易学，非常适合我们新手进行学习，接下来，我们讲继续讲解关于监督学习得相关内容，其中包括关于决策树得相关内容，我们目标是在决策树单棵树上继续做出改进，得到提升树，来提升预测或者分类得精度。然后我们闲话少叙，进入今天得正题。
2024-05-16 05:07:30
882
原创 大数据最新大数据测试学习笔记之基准测试HiBench_hibench worldcount(3)，程序员经验分享
在概念方面，需要进一步理透，以便深入理解需要去安装配置，实战对比不同环境下基准测试数据获取基准测试数据后，对数据深入分析形成一套自己的理解网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-05-15 20:20:47
297
原创 大数据最新大数据测试学习笔记之Python工具集_大数据测试主要工具(1)，2024年最新颠覆认知
NumPy系统是Python的一种开源的数值计算扩展。总结，Scikit-learn实现了一整套用于数据降维，模型选择，特征提取和归一化的完整算法/模块，虽然缺少按步骤操作的参考教程，但Scikit-learn针对每个算法和模块都提供了丰富的参考样例和详细的说明文档。Scikit-learn是Python机器学习开源库，基本功能主要被分为六大部分：分类，回归，聚类，数据降维，模型选择和数据预处理。笔者注：numpy是基础数值计算的库，更是必须掌握的，便于我们深入理解原理，为后续学习其他库打下扎实的基础。
2024-05-15 20:20:14
342
原创 大数据最新大数据测试 - 数仓测试_数据仓库测试，2024年最新这些知识点你会吗
关于以上校验的一些 sql 样例唯一性判断为 null判断是否为空负值判断枚举判断需要对开发的代码走读，check 指标处理逻辑。同时测试也需要准备验证脚本，或者查找到可以作为验证参考的数据，便于口径核对，这个环节，对测试人员的指标口径沉淀有一定的要求。在发现指标数据存在差异的情况，需要协助开发人员一起定位差异原因，时常需要在现有的口径基础上，在数仓空间往上翻多层，或者一个指标定义不够清晰，需要自行去数分空间查找口径定义。另外，在测试通过后，需要编写相应的 DQC 脚本，及时监控生产数据质量。
2024-05-15 20:19:41
332
原创 大数据最新大数据毕业设计Python+Vue，2024年最新HR的话扎心了
【代码】大数据最新大数据毕业设计Python+Vue，2024年最新HR的话扎心了。
2024-05-15 20:19:09
345
原创 基于Echarts+HTML5可视化数据大屏展示—某省物流大数据平台_可视化展示各省物流(4)
🍅 简介：Java领域优质创作者🏆、Java李杨勇公号作者✌ 简历模板、学习资料、面试题库、技术互助【关注我，都给你】动图演示：大数据平台中心具体数据模块详情。
2024-05-15 09:26:47
378
原创 基于Echarts+HTML5可视化数据大屏展示—某省物流大数据平台_可视化展示各省物流(1)
【代码】基于Echarts+HTML5可视化数据大屏展示—某省物流大数据平台_可视化展示各省物流(1)
2024-05-15 09:24:59
314
原创 【Spark】Spark Dataframe 对项目中的数据实现列转行操作_spark的dataset列转行
含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**
2024-05-15 00:48:27
789
原创 【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战(3)
通过这种方式实现，刚开始的时候系统正常运行，没有发现问题，但是如果系统异常重新启动sparkstreaming程序后，发现程序会重复处理已经处理过的数据，这种基于receiver的方式，是使用Kafka的高阶API来在ZooKeeper中保存消费过的offset的。不同于Receiver接收数据，这种方式定期地从kafka的topic下对应的partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，Spark通过调用kafka简单的消费者API读取一定范围的数据。
2024-05-15 00:47:51
653
原创 【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战(2)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Spark Streaming 读取 Kafka 数据源由两种模式，我会逐一讲解。构造函数为 使用了来接收数据，利用的是Kafka高层次的消费者api，对于所有的接
2024-05-15 00:47:15
532
原创 【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战(1)
通过这种方式实现，刚开始的时候系统正常运行，没有发现问题，但是如果系统异常重新启动sparkstreaming程序后，发现程序会重复处理已经处理过的数据，这种基于receiver的方式，是使用Kafka的高阶API来在ZooKeeper中保存消费过的offset的。不同于Receiver接收数据，这种方式定期地从kafka的topic下对应的partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，Spark通过调用kafka简单的消费者API读取一定范围的数据。
2024-05-15 00:46:38
703
原创 Elasticsearch探秘：原理剖析、高级运用与实战经验【文末送书】(2)
深入了解Elasticsearch的核心原理后，我们将探讨一些进阶的使用方法。这包括高级搜索技巧、复杂查询DSL语句的编写、性能调优等内容。读者将学习如何更灵活、高效地使用Elasticsearch来满足各种搜索和分析需求。
2024-05-14 15:25:46
861
原创 Elasticsearch探秘：原理剖析、高级运用与实战经验【文末送书】(1)
Elasticsearch提供了一种名为“索引阻塞（Index blocks）”的功能，让我们能够限制对某个索引的操作类型。Elasticsearch的索引阻塞功能在早期版本中就已存在，用于管理对索引的访问和操作。随着 Elasticsearch 版本的更新，该功能也在不断得到改进和扩展。
2024-05-14 15:25:10
772
原创 elasticsearch基础6——head插件安装和web页面查询操作使用、ik分词器_elasticsearch-head
Ukrainian 插件 | 为乌克兰语提供词干分析 |
2024-05-14 15:24:35
550
原创 elasticsearch基础6——head插件安装和web页面查询操作使用、ik分词器_elasticsearch-head(1)
新增数据有两种方式，POST和PUT，两者的区别就是POST自动生成文档编号，也可以指定，而PUT需要指定文档编号生成。分析插件是一类插件，可通过向es中添加新的分析器、标记化器、标记过滤器或字符过滤器等扩展es的分析功能。1.安装node.js环境，注意版本不要太高，不然会跟linux本身的依赖库包版本冲突报错。2.解压es-head安装包，安装依赖。2.post方式不指定id生成会是随机生成一个id。5.修改es配置文件，添加如下两行，解决跨域问题。6.重启es，es-head就可以连接es了。
2024-05-14 15:23:58
641
原创 2024年最全大数据6大维度透视，了解一个企业的真实情况(1)，2024年最新算法题+大数据开发
接着是工商变更情况，包括注册信息的变化、股权结构的调整、高层管理人员的变动等。这些信息有助于我们把握企业的治理结构和战略方向。例如，频繁更换高层管理人员可能暗示企业内部存在不稳定因素（比如我在网络上学到，如果看到某某公司高层突然离职加入另外一家公司，可能该公司的某项业务可能面临风险），而股权结构的重大变化可能预示着战略重组或潜在的并购活动。
2024-05-14 06:47:41
486
原创 2024年最全大数据-HDFS原理_journalnode服务(1)，万字总结
6.写完之后关闭数据写入进程7.NN收到写入完成的命令：complete1.hdfs client向distribut system发起读的请求：open2.distribute system向NN获取块的位置信息：get block location3.向输出流系统（FSData outputsystem）发起读的指令：read4.输出流系统（FSdata outputsystem）向数据节点DN发起读指令：read。
2024-05-14 06:47:05
1045
原创 2024年最全大学 数据分析 课程设计(1)，2024年最新膜拜大佬
p2% group_by(Gender,Product_Category_1) %>% count() %>% ggplot(aes(x=as.factor(Product_Category_1),y=n,fill=as.factor(Gender)))+geom_bar(stat=“identity”,position=“dodge”)+labs(x=“”,y=“”,fill=“gender”,title=“不同性别各产品类别的喜爱程度”)就城市停留年数的统计数据看，停留一年的占大多数。
2024-05-14 06:46:29
1022
原创 2024年最全基于微服务的云相册项目(1)，2024年最新程序员如何技术划水
用户进行登录后会生成一个token，每次发起请求的时候必须携带token，访问其他接口时会先进行校验是否有进行登录。并且Sa-Token还可以自动集成redis，将token和session放入redis中。使用步骤在父工程导入依赖-- sa-token 开启注解-->-- sa-token 集成redis-->在application.yml编写配置sa-token:# token 名称（同时也是 cookie 名称）# token 有效期（单位：秒） 默认30天，-1 代表永久有效。
2024-05-14 06:45:53
529
原创 2024年大数据最新CloudCanal x Hive 构建高效的实时数仓，2024最新大数据开发中级面试题目汇总解答
目前 CloudCanal 仅支持按照日期选择分区键，目前暂时不支持更多分区键的选择，未来 CloudCanal 会提供更多分区键的选择。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取。
2024-05-13 21:59:28
538
原创 2024年大数据最新CentOS 7 下安装RabbitMQ教程_centos7安装rabbitmq(1)，2024年最新做了6年大数据开发开发
在centos7系统上搭建的rabbitmq3.8版本，但是发现跟其他的版本明显有些区别，比如web访问入口guest用户登录问题，报错是只允许通过localhost访问，解决方法是rabbitmq其他版本是修改sbin/rabbitmq.app文件，把其中的一行直接修改成。再重启rabbitmq即可，但是这里的版本不行，因为没有rabbitmq.app文件。看样子网上大多数都是低版本的rabbitmq的解决方法，于是研究了一下其他的解决方法供参考。只要关闭了防火墙就可以访问rabbitmq的管理页面。
2024-05-13 21:58:17
409
原创 2024年大数据最新CDH集群6，大数据开发通用流行框架大全
注意此处有坑：对于MySQL5.7高版本，启动CM Server连接MySQL时可能会报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException异常，原因是默认开启了SSL认证，相当于useSSL=true，解决方法就是在配置中添加skip-ssl重启MySQL服务，另外[mysqld_safe]配置项已废弃不用，以下的配置均已经过验证。用于各节点连接数据库，Cloudera要求必须创建在/usr/share/java目录下才能被组件使用。
2024-05-13 21:57:41
938
原创 机器学习算法（4）—— 决策树算法_题目 假设我们没有看过世界杯,但是想知道哪支球队会是冠军,我们只能猜测某支球队
假设我们没有看世界杯的比赛，但是想知道哪支球队会是冠军， 我们只能猜测某支球队是或不是冠军，然后观众用对或不对来回答，我们想要猜测次数尽可能少，你会用什么方法？二分法：假如有 16 支球队，分别编号，先问是否在 1-8 之间，如果是就继续问是否在 1-4 之间，以此类推，直到最后判断出冠军球队是哪支。如果球队数量是 16，我们需要问 4 次来得到最后的答案。那么世界冠军这条消息的信息熵就是 4。那么信息熵等于4，是如何进行计算的呢？其中 p1, …, p16 分别是这 16 支球队夺冠的概率。
2024-05-12 19:02:39
565
原创 机器学习算法（4）—— 决策树算法_题目 假设我们没有看过世界杯,但是想知道哪支球队会是冠军,我们只能猜测某支球队(1)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是lg（10,000,000 / 1,0000）=3。最后"非常"对于这篇文档的tf-idf的分数为0.05 * 3=0.15。
2024-05-12 19:02:03
704
原创 机器学习算法系列（九）-多分类对数几率回归算法（Multinomial Logistic Regression）
ezj∑i1Kezij1⋯K假设有 K 种分类，可以将每种分类的条件概率写成 Softmax 函数的形式，即将每个分类的线性组合结果带入到 Softmax 函数中：Pyj∣xWeWjTx∑i1KeWiTxj1⋯K其假设函数为：hxPy1∣xWPy2∣xW⋯PyK∣xW1∑i1KeWiTxeW1TxeW2Tx⋯eWKTx。
2024-05-12 19:01:27
279
原创 机器学习算法系列（九）-多分类对数几率回归算法（Multinomial Logistic Regression）(6)
同前面的证明，黑塞矩阵前面的常数必然大于零，则对应的黑塞矩阵矩阵为正定矩阵，说明其代价函数为凸函数，证毕。W2−W1 视为新的 w，这时会发现假设函数就为二分类的对数几率回归的假设函数。W2−W1 视为新的 w，这时会发现假设函数就为二分类的对数几率回归的假设函数。（1）当 K 的值为 2 时，带入到多分类对数几率回归的假设函数。（2）第一项对 W 来说为常数，只需对第二项求导。（4）整理结果，分子为连加中去掉第 j 项。（3）e 的零次幂为 1，化简可得。（3）e 的零次幂为 1，化简可得。
2024-05-12 19:00:50
729
原创 最全社区疫情防控系统-项目前景与范围，2024大厂大数据开发面试真题集锦
这款社区疫情防控智能管理系统能够实时追踪轨迹，自动整合数据，大大提升政府工作人员的决策效率与精度，实现快速响应、精准布控；相较于现有流调模式需要通过公开患者行动信息、依靠基层工作人员和群众进行大量信息交互的形式，该系统实现的智能流调可更大程度保护居民隐私，减轻基层工作人员压力，优化分工结构；在疫情消退的常态化时期，该系统还可用于防旱防涝、扫黑除恶等基层社会治理工作。
2024-05-12 10:30:55
226
原创 最全知识分享-商业数据分析业务全流程_商务数据分析的基本流程(1)，看完吊打面试官
🤵♂️ 个人主页✍🏻作者简介：Python学习者🐋 希望大家多多支持，我们一起进步！😄如果文章对你有帮助的话，喜欢大数据分析项目的小伙伴，希望可以多多支持该系列的其他文章大数据分析案例合集") |以往做了很多期数据分析的案例项目，今天简单总结一下在如今商业领域的数据分析业务全流程步骤，希望对学习数据分析的小伙伴有所帮助。商业数据分析总体分为三个阶段、六个步骤。
2024-05-12 10:30:19
381
原创 最全百度-Java中级面试题分享-，2024年最新大数据开发技术篇
Spring 事务处理模块是通过 AOP 功能来实现声明式事务处理的，具体操作（比如事务实行的配置和读取，事务对象的抽象），用 TransactionProxyFactoryBean 接口来使用 AOP 功能，生成 proxy 代理对象，通过 TransactionInterceptor 完成对代理方法的拦截，将事务处理的功能编织到拦截的方法中。面向切面编程，在我们的应用中，经常需要做一些事情，但是这些事情与核心业务无关，比如，要记录所有 update*方法的执行时间时间，操作人等等信息，记录到日志，
2024-05-12 10:29:43
319
原创 最全电商+支付双系统项目------实现电商系统中分类模块的开发！，惊喜
【代码】最全电商+支付双系统项目------实现电商系统中分类模块的开发！，惊喜。
2024-05-12 10:29:07
334
原创 大数据最新开放数据库：中医古方数据库，2024年最新学习指南
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！数据获取地址：国家人口健康科学数据中心数据仓储（PHDA）
2024-05-12 01:52:41
914
原创 大数据最新建议收藏丨大数据集群常用监控命令（内存、磁盘、CPU、网络），35岁以上程序员求职没市场
● USER，进程所有者的用户名。● PID，进程号，可以唯一标识该进程。● %CPU，进程自最近一次刷新以来所占用的CPU时间和总时间的百分比。● %MEM，进程使用内存的百分比。● VSZ，进程使用的虚拟内存大小，以K为单位。● RSS，进程占用的物理内存的总数量，以K为单位。● TTY，进程相关的终端名。● STAT，进程状态，用(R–运行或准备运行；S–睡眠状态；I–空闲；Z–冻结；D–不间断睡眠；W-进程没有驻留页；T停止或跟踪。)这些字母来表示。
2024-05-12 01:52:05
346
原创 大数据最新干货合集│最好用的 python 库都在这_机器学习中tpdm什么意思(1)，2024年最新劲爆
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取[p.start() for p in process][p.join() for p in process]import threadingdef func(s):print(s)if name == ‘__m
2024-05-12 01:51:29
612
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人