- 博客(150)
- 收藏
- 关注
RSS订阅原创 一文速学数模-时序预测模型(一)灰色预测一文详解+Python实例代码_灰色关联度时序预测
灰色预测模型可针对数量非常少（比如仅4个），数据完整性和可靠性较低的数据序列进行有效预测，其利用微分方程来充分挖掘数据的本质，建模所需信息少，精度较高，运算简便，易于检验，也不用考虑分布规律或变化趋势等。但灰色预测模型一般只适用于短期预测，只适合指数增长的预测，比如人口数量，航班数量，用水量预测，工业产值预测等。灰色预测模型是通过少量的、不完全的信息，建立数学模型做出预测的一种预测方法。是基于客观事物的过去和现在的发展规律，借助于科学的方法对未来的发展趋势和状况进行描述和分析，并形成科学的假设和判断。
2024-04-30 15:35:33
227
原创 一文速学-玩转SQL之执行顺序，单表自连接操作和用法_表自链接
join表> # 指定join，用于添加数据到on之后的虚表中，例如left join会将左表的剩余数据添加到虚表中。(6) # 用于having子句进行判断，在书写上这类聚合函数是写在having判断里面的。(3) < 连接类型 > JOIN < 右表 > # 对分组后的结果进行聚合筛选。(5) GROUP BY < 分组列 >(7) HAVING < 分组筛选 >(4) WHERE < 筛选条件 >(1) FROM < 左表 >(2) ON
2024-04-30 15:35:02
198
原创 一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战
变换后的目标函数可以被二阶泰勒展开，使得目标函数在每个节点的损失函数可以被表示为关于该节点预测值的二次函数，这样可以在计算最优分裂点时，使用牛顿法或拟牛顿法等高效的优化算法来求解。变换后的目标函数可以解决梯度爆炸和梯度消失问题，这是由于使用指数函数和对数函数进行变换，将目标函数的值范围映射到了一个合适的区间，从而避免了数值溢出和数值不稳定的情况。变换后的目标函数可以解决分类问题的类别不平衡问题，这是由于在分类问题中，负样本数量通常远大于正样本数量，导致算法容易偏向于负样本。
2024-04-30 15:33:58
182
原创 一文透析 Spring Boot、微服务架构和大数据治理三者之间的故事
Spring Boot 本身发展特别快，自从 2014 年 4 月发布 Spring Boot 1.0 之后，版本更新非常频繁，我在 2016 年使用的时候是 1.3.X，到现在 Spring Boot 已经发布了 Spring Boot 2.0，Spring Boot 2.0 集成了很多最新优秀的技术和新特性，并且对 Spring Boot 1.0 的 API 进行了大幅优化。Spring Boot 开发了很多的应用集成包，支持绝大多数开源软件，让我们以很低的成本去集成其他主流开源软件。
2024-04-30 15:33:27
194
原创 【Git企业开发】第四节
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！hello world*[外链图片转存中…(img-BXJJMxXB-1714432978538)][外链图片转存中…(img-7luQYCc2-171443297
2024-04-30 07:23:42
259
原创 【Flume】（四）Flume 企业真实面试经验_flume 大厂
组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。type 选择 memory 时 Channel 的性能最好，但是如果 Flume 进程意外挂掉可能会丢失数据。组件是用于把数据发送到目的地的组件，目的地包括 HDFS、Logger、avro、thrift、ipc、file、Hbase、solr、自定义。
2024-04-30 07:22:06
295
原创 C语言百日刷题第十天_胖肚子决定从明天开始的 n 天中,任意选择 k 天进行工作。 给定一个整数(1)
题目分析：分别统计英文、空格和数字，及其其他，我们自然就想到了使用分支语句进行判断，那么如何进行判断以上四种情况呢，柿子先捡软的捏，最容易判断的当然就是空格，其次就是英文字母和数字，最难判断的就是其他字符，但是如果我们把前面三种都判断了，那么最后的不就剩下其他字符了嘛？接下来，我们可以尝试去模拟一下strcat函数，而strcat函数的原理其实就是先找到目标字符串的结尾（‘\0’），然后从此处开始进行数据的复制，当找到源字符串的结束标志（’\0’）时停止复制。对于该函数，我们有三种方法可以进行模拟。
2024-04-29 22:17:25
238
原创 C语言深度解析：函数的形参和实参与传值和传址（多角度分析，让你有一种相见恨晚的感觉！！(1)
*：形参为指向实参地址的指针，当对形参进行指向操作时，就相当于实参本身进行的操作。**
2024-04-29 22:16:22
70
原创 C语言期末集训2（大一，超基础，小猫猫大课堂的配套练习）—
下面的长文是水字数，不然csdn要建议，小朋友可以看看，帮助理解。写一个程序，判断某一年是否为闰年。
2024-04-29 22:15:51
102
原创 C语言期末集训1（大一，超基础，小猫猫大课堂配套练习）—
最后的最后，关注我，关注我，关注我，你会看到更多有趣的博客哦！！！喵喵喵，你对我真的很重要。大一上程序设计期末复习，超基础，小猫猫大课堂配套练习。
2024-04-29 22:14:46
198
原创 携程2024大数据开发一面
在 Flink 的后台任务管理中，我们可以看到 Flink 的哪个算子和 task 出现了反压（网络流控）。资源调优即是对作业中的 Operator 的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。可以根据状态来提交预提交的数据，也可删除预提交的数据。
2024-04-29 02:17:23
279
原创 携程2024大数据开发一面(1)
KeyBy：按照指定的 key 进行分组。准备阶段协调者向参与者发送预提交，参与者记录当前日志用于回滚和重放，实际提交时协调者向参与这发送提交请求，参与者真实提交数据，若参与者提交成功，则发送ack到协调者，协调者收到所有参与者的ack事务完成，否则向所有参与者发送回滚请求，按照之前记录的状态完成回滚并返回ack.故障率重启策略（Failure Rate Restart Strategy）：故障率重启策略在故障后重新作业，当设置的故障率（failure rate）超过每个时间间隔的故障时，作业最终失败。
2024-04-29 02:16:52
192
原创 搭建Hadoop3
在虚拟机hadoop1中执行命令，生成密钥。查看秘钥文件在虚拟机hadoop1中执行命令查看密钥文件。将虚拟机hadoop1生成的公钥文件复制到集群中相关联的所有虚拟机，实现通过虚拟机hadoop1可以免密登录虚拟机hadoop1、hdp3-2和hdp3-3。3）测试免密登录在虚拟机hadoop1中执行利用winscp将上传至hadoop1的目录4）配置JDK系统环境变量在虚拟机hadoop1执行命令编辑环境变量文件profile，在该文件的底部添加配置JDK系统环境变量的内容。记得执行重新
2024-04-29 02:14:30
217
原创 搭建Hadoop3(1)
修改uuid（只需要修改hadoop2、 hadoop3主机）重启ens33网卡和重新加载网络配置文件查看网络信息检测网络配置hadoop2主机名配置hadoop3主机名4）配置虚拟机SSH远程登录① 配置putty② 配置winscp在虚拟机hadoop1主机执行命令编辑映射文件hosts，在配置文件中添加如下内容。在虚拟机hadoop1主机执行如下命令，拷贝配置到hadoop2, hadoop3关闭虚拟机Hadoop1、Hadoop2和Hadoop3的防火墙，分别在3台虚拟机中运行如下
2024-04-29 02:13:59
143
原创 一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：首先你要安装了nginx，我这以下操作步骤是基于nginx挂载到外部目录。需要将这个链接地址放置到中对应的远程词库目录我这里最终的目的是项目中要使
2024-04-28 13:01:33
246
原创 一文掌握大数据架构师需要具备的能力和格局(1)
DMP/CDP只针对营销和客户运营的场景，它们可以与企业的渠道管理、备货、物流以及供应链甚至生产环节相联通，并根据需要为这些环节提供数据，但它们并不负责收集和处理这些环节的数据。建立私域数据之间相同顾客/用户/受众之间的映射匹配关系 .构建以顾客/用户受众(人)为核心的数据结构(即ID+人的标签，或称ID+人的属 性的数据结构)关注在特定的公司下他们是如何获客的，获客的效果与方法是否可以持续健康的保持优势。价值守护的能力，包括资产数据 用户，针对于流失的方法策略是否有意识和具体的动作。
2024-04-28 13:00:27
583
原创 一文总结 Shiro 实战教程
(img-6aRwlpS4-1714280377218)](img-Xszy3qrd-1714280377218)]System.out.println(“用户名错误!System.out.println(“密码错误!System.out.println(“登录成功”);//创建securityManager。//设置为自定义realm获取认证数据。//将安装工具类中设置默认安全管理器。//创建token令牌。* 自定义realm。
2024-04-28 12:59:57
413
原创 【Spark】Spark Dataframe 对项目中的数据实现列转行操作_spark的dataset列转行(1)
多行存在空值需要过滤，不同的状态（yes、maybe、invited、no）存在多个值，需要转换成（events userid status）的状态。转换之前先看下数据结构。
2024-04-28 07:56:38
142
原创 【Spark Streaming】（五）Spark Streaming 与 Kafka 集成实战！_kafkautils
通过这种方式实现，刚开始的时候系统正常运行，没有发现问题，但是如果系统异常重新启动sparkstreaming程序后，发现程序会重复处理已经处理过的数据，这种基于receiver的方式，是使用Kafka的高阶API来在ZooKeeper中保存消费过的offset的。不同于Receiver接收数据，这种方式定期地从kafka的topic下对应的partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，Spark通过调用kafka简单的消费者API读取一定范围的数据。
2024-04-28 07:56:07
776
原创 【Spark ML】（二）Spark ML 分类算法_spark分类算法
|0.0| 0.05263157894736842||0.0| 0.07017543859649122||0.0| 0.08771929824561403||0.0| 0.10526315789473684||0.0| 0.12280701754385964||0.0| 0.14035087719298245||0.0| 0.15789473684210525||0.0| 0.17543859649122806||0.0| 0.19298245614035087||0.0| 0.21052
2024-04-28 07:54:23
486
原创 【Spark MLlib】（五）随机森林（Random Forest
在训练过程中，如果单机内存能放下所有样本，可以用多线程同时训练多棵树，树之间的训练互不影响。
2024-04-28 07:53:19
621
原创 C语言百日刷题第十天_胖肚子决定从明天开始的 n 天中,任意选择 k 天进行工作。 给定一个整数
模拟方法三：指针运算模拟接下来，我们可以尝试去模拟一下strcat函数，而strcat函数的原理其实就是先找到目标字符串的结尾（‘\0’），然后从此处开始进行数据的复制，当找到源字符串的结束标志（’\0’）时停止复制。如此一来，我们就模拟了两个字符串函数，接下来把他们封装，直接调用就行了，这里的strlen函数我就使用第一种模拟的函数吧。
2024-04-27 22:11:40
221
原创 C语言期末集训2（大一，超基础，小猫猫大课堂的配套练习）—
今天是选择语句的题，相对难一点，小喵需要在做几遍，才能把这个完全吃透！写得很详细，有什么不足，麻烦私信Q一下小喵。！！伙伴们，晚安。最后的最后，关注我，关注我，关注我，你会看到更多有趣的博客哦！！！喵喵喵，你对我真的很重要。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-04-27 22:09:57
239
原创 C语言期末集训2（大一，超基础，小猫猫大课堂的配套练习）—(1)
今天是选择语句的题，相对难一点，小喵需要在做几遍，才能把这个完全吃透！写得很详细，有什么不足，麻烦私信Q一下小喵。！！伙伴们，晚安。最后的最后，关注我，关注我，关注我，你会看到更多有趣的博客哦！！！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-04-27 22:09:26
176
原创 C语言基础【程序=算法+数据结构】——(数据结构
外链图片转存中…(img-oUVDcpyc-1714226842280)][外链图片转存中…(img-aPssGgnm-1714226842280)]网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-04-27 22:07:41
943
原创 电商项目前台搜索服务es实现(1)
查询索引#全部查询“query”: {#关键字查询“query”: {“match”: {“all”: “最好”
2024-04-27 15:50:49
745
原创 用虚拟机Centos7搭建Hadoop集群
还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104。**）scp****（secure copy****）安全拷贝****）rsync****远程同步工具**
2024-04-27 15:49:47
643
1
原创 玩转大数据：1-推荐算法_混合推荐算法
深度学习是人工智能领域的一个重要分支，它是一种机器学习的方法，通过模拟人脑神经网络的工作方式来进行学习和决策。深度学习模型可以对大量的数据进行学习和处理，从而发掘出数据中的潜在规律和模式。在推荐系统中，深度学习可以用来对用户的行为和偏好进行建模，从而为用户提供更加个性化的推荐服务。推荐系统是一种基于用户行为和偏好的信息过滤系统，它可以根据用户的历史行为和偏好，向用户推荐符合其兴趣和需求的信息。
2024-04-27 15:46:11
605
原创 玩转大数据21：基于FP-Growth算法的关联规则挖掘及实现_基于fp-growth的数据挖掘与可视化系统
通过FP-Growth算法分析购物篮数据，可以发现商品之间的关联关系，从而实现个性化推荐。例如，当一个用户购买了牛奶和面包时，可以根据关联规则推荐给他购买黄油。需要注意的是，个性化推荐不仅仅依赖于FP-Growth算法，还需要结合其他算法和技术，如协同过滤、内容推荐等，以提高推荐的准确性和个性化程度。
2024-04-27 15:45:41
773
原创 大数据分布式系统中的脑裂，你懂吗？_分布式系统脑裂(1)
具体的技术实现是两个预备领导都会向zookeeper的同一个地方写数据，但是因为ZAB算法的策略，限制了zookeeper在同一时间只能接受一个写请求，zookeeper的写请求处理方式是单线程的，这一点和redis很像，有一个先写进那就是领导，另一个就是秘书；脑裂就是由原来只有一个做决策的大脑突然间变成了由多个同时做决策，而这多个大脑在做决策时，因为互相之间的信息并不同步而导致的决策之间发生冲突进而让分布式系统的管理陷入到一种混乱的局面，分布式系统中引入了多个管理者同时做决策的现象就叫脑裂。
2024-04-27 11:35:00
323
原创 临近毕业：AndroidVS大数据Java的offer，我到底应该怎么选？
本人现在大四，即将毕业。苏州某普通本科在校生。目前已经确定拿到了南京一个中型创业公司的offer，公司安排到了大数据Java岗。还有一个offer就是上海某4G/5G智能终端创新研发平台Android应用开发岗。其他的一些微创企业的面试offer就不提了。在校期间做的项目很杂，php的后端，老三大件的前端，android，片上代码都有写过，不过专攻android，也学的做的最多，可能跟入行多年的前辈们没得比，不过在同水平选手中算是android走的比较远的了，算下来连学带做有2年了，而且比较感兴趣。
2024-04-27 09:30:20
428
原创 【开卷数据结构 】多项式的链表表示_用链表表示多项式(1)
如果这两项的指数相同，那么把它们的系数相加，并生成一个新的结果项，然后移动这两个指针，分别指向多项式 a 和 b 的下一个结点。如果 a 的当前项指数小于 b 的当前项指数，那么生成 b 的副本项，加入到结果 d 中，并移动指针指向 b 的下一项。每次生成一个新结点，设置它的 coef 域和 expon 域，并将它添加到 d 的尾部，为了避免每次加入新结点时都搜索 d 的最后结点，使用函数 rear 指向 d 中最后的结点。**第三步：**a−>expon>b−>expon。
2024-04-27 07:32:40
846
原创 【Flink SQL】Flink SQL 基础概念（一）：SQL &； Table 运行环境
它两虽然都继承了接口，但是支持的功能更多一些。大家可以直接去看看接口实验一下，这里就不进行详细介绍。
2024-04-27 05:42:11
886
原创 Python项目——项目优化(Elasticsearch)(一)_elasticsearch 7
Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。系统上安装的JDK与elasticsearch-7.10.2版本不匹配，需要使用elasticsearch-7.10.2自带的JDK服务，修改elasticsearch-7.10.2脚本即可。朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**修改操作系统级别对每个用户创建的进程数的限制，还要修改：每个进程可以打开的文件数的限制。
2024-04-27 03:45:54
813
原创 Java abstract关键字【面向对象的第三大特征——多态】_java项目abstract
System.out.println(“这只兔子的姓名为：” + rabbit.getName());System.out.println(“这只兔子的年龄为：” + rabbit.getAge());System.out.println(“这是抽象类的一个实例方法”);//底面几何图形对象。System.out.println(“画一个几何图形”);System.out.println(“中国女朋友”);System.out.println(“你好”);//矩形类，继承自抽象类Gemotrey。
2024-04-27 01:55:03
681
原创 Alibaba2024年度内部全技术栈PPT总结（基础+架构+算法+大数据+手册
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新。Spark大数据分析实战-PDF。Java核心知识PDF。
2024-04-26 23:53:44
365
原创 C C++面试题2「虚函数、多态、内存管理与软件调试篇，2024年最新2024年最新大厂大数据开发面试笔试题目
流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-04-21 18:55:05
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人