- 博客(145)
- 收藏
- 关注
RSS订阅原创 简单易懂的Bagging算法和词袋模型
通过这篇文章，我们了解了Bagging算法是如何通过多个基模型的投票来做出决策的，以及词袋模型是如何将文本转换为矩阵来表示单词的。希望这些解释对你们有所帮助，让你们对这些概念有了更清晰的认识！
2024-12-29 14:18:19
419
原创 反向传播算法：神经网络的学习秘诀
为了找出每个小工人如何影响最终产品，我们需要计算损失函数相对于每个小工人的梯度。梯度告诉我们，如果我们改变小工人的工作方式（调整权重），损失会如何变化。反向传播算法本身不负责更新权重，而是告诉我们应该如何更新。通过这个过程，神经网络能够学习如何调整自己的“工作方式”，以便在下一次尝试时做得更好。反向传播算法是神经网络训练中的核心，它帮助网络学习如何更好地完成任务。反向传播算法的关键在于链式法则，它允许我们计算损失函数相对于网络中所有权重的梯度。) 是学习率，它控制我们更新权重时的步长。
2024-12-29 14:00:26
1183
原创 小学生也能懂的神经网络和机器学习基础
这些概念对于小学生来说可能有些复杂，但通过简化的解释和例子，可以帮助他们理解神经网络的基本概念和防止过拟合的一些基本方法。：将数据集分成多个小部分，轮流使用其中一部分作为测试集，其余作为训练集，这样可以更全面地评估模型的性能。：在损失函数中加入正则项，如L1或L2正则化，可以限制模型权重的大小，从而减少过拟合。其中，TP是真阳性，TN是真阴性，FP是假阳性，FN是假阴性。：使用较少的参数，这样可以减少模型的复杂度，降低过拟合的风险。：通过组合多个模型的预测结果，可以提高模型的稳定性和准确性。
2024-12-29 13:46:42
872
原创 用赤池信息量准则（AIC）选择最佳模型：小学生也能懂的指南
AIC是一种衡量统计模型相对质量的指标。它帮助我们选择一个模型，这个模型在尽可能准确地拟合数据的同时，保持简洁性。AIC考虑了模型的拟合度（即模型对数据的解释能力）和模型的复杂度（即模型中参数的数量）。
2024-12-29 13:29:24
948
原创 拟合度：调整R方
R方是一个统计量，用来衡量一个模型对数据的拟合程度。如果R方是1，意味着模型完美地拟合了所有数据点。如果R方是0，意味着模型没有提供比简单使用平均值更好的预测。调整后的R方是对R方的改进，它考虑了模型中变量的数量。在R方的基础上，如果模型中的变量太多，尤其是那些对预测没有帮助的变量，R方可能会被过高估计。调整后的R方通过惩罚多余的变量来解决这个问题。
2024-12-29 13:11:30
705
原创 “魔法糖果盒的秘密：用朴素贝叶斯算法猜糖果颜色”
\( P(\text{红色|甜}) = \frac{P(\text{甜|红色})P(\text{红色})}{P(\text{甜})} \)- \( P(\text{蓝色|甜}) = \frac{P(\text{甜|蓝色})P(\text{蓝色})}{P(\text{甜})} \)- 如果 \( P(\text{红色|甜}) > P(\text{蓝色|甜}) \)，那么你认为这个糖果是红色的。比如，你尝到的味道的可能性。- \( P(\text{甜|红色}) \)：糖果是红色的情况下，它是甜的可能性。
2024-12-21 21:48:53
254
原创 “魔法盒子的秘密：用MCMC方法探索球的比例”
比如，如果你上次摸到的是红色球，那么你这次可能会倾向于摸一个和红色相近的颜色，比如橙色或紫色（当然，这只是一个比喻，实际中提议分布的选择会更复杂）。现在，你需要决定是否接受这个新的颜色作为你下一次摸球的结果。你计算了一个接受概率，这个概率取决于新颜色和旧颜色在盒子中真实出现概率的相对大小，以及你提议分布的一些特性。最后，当你认为链已经运行了足够长的时间，达到了平稳分布时，你就用这些状态来估算我们想要知道的性质了。游戏开始时，你随机从盒子里拿出一个球，这个球的颜色就是你的起始点，也就是马尔可夫链的初始状态。
2024-12-21 12:17:12
223
原创 Python编程艺术：语法之美与实用技巧
这是一份全面的Python语法入门教程，涵盖了注释、变量类型与操作符、逻辑运算、list和字符串、变量与集合、控制流和迭代、模块、类、继承、进阶等内容，通过详细的代码示例和解释，帮助大家快速熟悉Python语法。Python中用#表示单行注释，#之后的同行的内容都会被注释掉。使用三个连续的双引号表示多行注释，两个多行注释标识之间内容会被视作是注释。二、基础变量类型与操作符Python当中的数字定义和其他语言一样：我们分别使用+, -, *, /表示加减乘除四则运算符。这里要注意的是，在Pyth
2024-12-19 20:20:15
935
原创 导数求解方法
商法则：\( \left(\frac{f(x)}{g(x)}\right)' = \frac{f'(x) \cdot g(x) - f(x) \cdot g'(x)}{(g(x))^2} \)。- 乘积法则：\( (f(x) \cdot g(x))' = f'(x) \cdot g(x) + f(x) \cdot g'(x) \)。- 和法则：\( (f(x) + g(x))' = f'(x) + g'(x) \)。- 差法则：\( (f(x) - g(x))' = f'(x) - g'(x) \)。
2024-12-11 14:11:55
363
原创 货币供应量的艺术：平衡经济增长与通货膨胀
在1949年，中国的人口大约是4亿，而今天人口约为14亿。但这并不意味着货币供应量需要简单地按人口比例增加。实际上，货币供应量的增加需要考虑到上述多种经济因素，以及经济结构和金融环境的变化。中央银行会根据这些因素综合考虑，通过货币政策来调节货币供应量，以实现经济稳定增长、控制通货膨胀和促进就业等宏观经济目标。作为银行家，货币供应量的确定是一个复杂的问题，涉及到宏观经济学中的货币需求理论、通货膨胀目标、经济增长、货币政策等多个因素。
2024-10-31 18:53:09
402
原创 如何衡量一个国家的货币供应量是否合适？
综合这些指标和分析工具，政策制定者和经济学家可以对一个国家的货币供应量是否合适做出评估，并据此调整货币政策。需要注意的是，这些指标和工具需要结合使用，并且要考虑特定国家的具体情况和经济环境。衡量一个国家的货币供应量是否合适是一个复杂的宏观经济问题，涉及到多个经济指标和分析工具。
2024-10-31 18:51:06
307
原创 什么是泰勒级数？
比如，如果你想知道某个波浪在某个点的高度，你可以用泰勒级数来快速找到一个近似值，而不需要直接计算整个波浪的形状。但是，如果你只想在某个点附近知道这个曲线的样子，你可以用一些简单的直线来近似它。- \( (x-a) \) 是你从点 \( a \) 移动到其他点 \( x \) 的距离。- \( f''(a) \) 是在点 \( a \) 处的弯曲程度（第二导数）。- \( f'(a) \) 是在点 \( a \) 处的斜率（第一导数）。- \( f(a) \) 是在点 \( a \) 处的函数值。
2024-10-17 16:40:57
310
原创 茶圣新创：槐树花热饮“华梦醉”的发明与配方
通过这次新茶饮的发明与制作，我深刻体会到茶文化中所蕴含的无限可能与创新精神。希望“华梦醉”这款热饮能够成为大家品茶时的一个新选择，让大家在享受茶香的同时，也能感受到自然与生活的美好。
2024-09-30 17:12:49
365
原创 茶圣新创：“禅意观音”茶饮的发明与配方揭秘
禅意观音”作为一款新发明的茶饮，不仅保留了观音茶的清雅香气与醇厚滋味，还通过加入桂花与龙眼肉等辅料，提升了茶饮的口感丰富度与层次感。同时，该茶饮的制作工艺简单、易于操作，适合在家庭、茶馆等多种场合进行品尝与分享。我相信，“禅意观音”将成为一款备受喜爱的茶饮新品。
2024-09-30 17:03:33
426
原创 海平面气压与气柱平均温度的计算及其在气象学中的应用
该工具类不仅简化了计算过程，而且提高了计算的准确性和可靠性，为气象及相关领域的研究提供了有力支持。本文旨在阐述如何利用Java编程语言开发一个高效、易用的工具类，以实现海平面气压的精确计算。通过对工具类的设计理念、实现方法及应用场景的详细阐述，本文旨在为相关领域的研究者和实践者提供一种新的技术解决方案。在探讨海平面气压计算的重要性及其在多个领域的应用价值时，本文将详细介绍一个专为这一目的设计的Java工具类。- **封装性**：通过私有构造函数和私有方法，确保工具类的内部实现对外不可见。
2024-09-24 16:18:51
497
原创 露点温度计算：一种基于马格拉斯公式的Java实现
本文介绍了一种基于马格拉斯公式的露点温度计算方法，并提供了一个Java工具类的实现，该工具类具有良好的面向对象编程特性，包括高可读性、高性能和高复用性。通过马格拉斯公式和Java工具类的实现，我们可以方便地计算出露点温度，这对于气象研究和相关应用具有重要价值。- \( a \) 和 \( b \) 是系数，通常取 \( a = 7.69 \) 和 \( b = 243.92 \)。本文提供了一种基于马格拉斯公式的露点温度计算方法，并提供了Java工具类的实现代码，使得计算过程更加高效和可靠。
2024-09-24 15:13:24
500
原创 T检验：一种通俗易懂的统计分析方法
T检验是一种假设检验方法，用于判断两组数据的均值是否存在显著差异。它基于样本数据计算T统计量，并与T分布进行比较，从而得出P值，进而推断总体均数之间的差异是否显著。
2024-09-24 14:32:27
7377
原创 饱和水汽压计算：基于戈夫-格雷奇公式的研究
戈夫-格雷奇公式为计算纯水平液面和冰面的饱和水汽压提供了一种有效且准确的方法。其中，\( T_1 = 273.16 \, \text{K} \) 为水的三相点温度，\( T = 273.15 + t \)，\( t \) 为摄氏温度。然而，需要注意的是，该公式是基于实验数据得出的经验公式，可能在极端温度下存在一定的误差。本研究通过将戈夫-格雷奇公式应用于一系列温度数据，计算对应的饱和水汽压，并与实际观测数据进行比较，以验证公式的准确性。戈夫-格雷奇公式是一种经验公式，用于计算不同温度下的饱和水汽压。
2024-09-24 14:12:24
941
原创 “使用 QR 分解求解线性方程组的 Java 实现“
首先，`Td2`, `T1`, 和 `Ng` 应该是数组，但在您的代码中，`T1` 和 `Ng` 被错误地声明为单个数字，而不是数组。其次，您需要为 `Td2`, `T1`, 和 `Ng` 提供具体的数值。2. 在创建系数矩阵 `A` 时，我们使用 `{1, T1[0], Ng[0]}` 来引用数组的第一个元素。1. `Td2`, `T1`, 和 `Ng` 都应该是数组，即使它们只包含一个元素。// 假设的 Td2, T1, Ng 值，这里以数组形式提供。3. `b` 直接使用 `Td2` 数组初始化。
2024-09-13 22:18:13
337
原创 海量数据处理商用短链接生成器平台 - 20
简介： Jmeter单接口压测问题点和流量漏斗模型介绍压测工具选择JmeterLoadLunnerApache AB问题点常用的Jmeter压测工具，进行单接口压测是没问题的，可以得出基于某个机器配置下接口的吞吐量但是实际线上业务，用户不可能只访问某个接口更多的是多个接口业务联动，有可能某个接口出现瓶颈导致其他接口出现问题例子1、轮播图列表接口【4核8G，QPS 3万】2、分类列表接口【4核8G，QPS 5万】3、视频详情页接口【4核8G，QPS 4万】
2024-08-12 16:04:51
246
原创 海量数据处理商用短链接生成器平台 - 19
简介：新一代分布式链路追踪Skywalking介绍抛两个常见的问题微服务调用链路出现了问题怎么快速排查？微服务调用链路耗时长怎么定位是哪个服务skywalking是什么skywalkings是一款国产的开源框架，在2015年开源使用，在2017年的时候加入了Apache孵化器skywalking是分布式应用程序的性能监控工具，专门是为了微服务（spring cloud）、云原生架构与容器架构（docker/k8s）而设计的。
2024-08-12 15:29:08
268
原创 海量数据处理商用短链接生成器平台 - 18
简介：微服务容器化部署的问题和容器编排介绍Docker容器化部署微服务比传统方式快，一直容器化部署一直爽在实操中发现，像 Docker 之类的容器引擎，折腾少量容器还行但如今的云原生应用、机器学习任务或者大数据分析业务，动辄就要使用成百上千的容器要管理这么多容器，Docker 们就力不从心了问题简单的几个容器可以方便管理，但稍微有规模的公司里面肯定是成千上万的容器在运行怎么快速部署容器怎么管理这些容器怎么监控这些容器状态容器之间通讯怎么管理。
2024-08-12 14:55:13
476
原创 海量数据处理商用短链接生成器平台 - 17
简介： 数据可视化ADS层介绍和微服务整合ClickHouse项目数据分层数据分层分层描述数据生成计算工具存储ODS原生数据，短链访问基本信息SpringBoot生成KafkaDWD对 ODS 层做数据清洗和规范化，新老访客标记等FlinkKafkaDWM对DWD数据进一步加工补齐数据，独立访客统计，操作系统/ip/城市，做宽表FlinkkafkaDWS对DWM进行处理，多流合并,分组|聚合|开窗|统计，形成主题宽表FlinkClickHouseADS。
2024-08-12 12:53:58
299
原创 海量数据处理商用短链接生成器平台 - 16
简介： IP解析地理位置问题点和Flink异步IO介绍Flink实时计算处理存在的问题IP解析地理位置信息，查询是同步查询，存在阻塞，性能不高在构建实时数仓等应用场景下，与外部维表等的关联需要大量外部存储的交互，去补充更多维度属性信息，如HTTP网络、Redis、Mysql数据库、Hbase等进行查询默认Flink里面用 MapFunction进行对象关联，只能用同步方式去进行IO调用，需要等请求完成才进行发下一个请求，这种等待占了函数时间的绝大部分；
2024-08-12 12:33:04
242
原创 海量数据处理商用短链接生成器平台 - 15
简介： 短链平台里面涉及到的大数据需求介绍短链平台业务核心接口【大部分】开发完成进入新的环节-数据处理-ETL-可视化需求：百度统计案例短链案例最简单的方式解决方式商用短链平台-可视化数据项目掌握大数据工程师链路的核心内容简介：大数据里面的概念讲解-数据仓库-数据湖总结商业智能BI 是一系列工具产品和技术的集合，如数据仓库技术、ETL技术、OLAP技术、前端工具等目的是为了提升数据价值、辅助企业决策业务系统与商业智能系统的区别业务系统保证企业日常运营，商业智能系统通过辅助决策，提高企业的运营
2024-08-12 12:22:34
297
原创 海量数据处理商用短链接生成器平台 - 14
简介：分布式事务介绍和产生原因什么是分布式事务事务事务指的就是一个操作单元，在这个操作单元中的所有操作最终要保持一致的行为，要么所有操作都成功，要么所有的操作都被撤销分两种一个是本地事务：本地事物其实可以认为是数据库提供的事务机一个是分布式事务分布式事务指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用。
2024-08-11 10:53:34
391
原创 海量数据处理商用短链接生成器平台 - 13
简介：流量包过期业务需求和解决方案讲解需求用户购买的流量包都是有时间限制，过期的流量包需要删除逻辑删除、物理删除、或者转移到日志文件归档都行我们这边直接使用物理删除，比数据过多解决方式使用定时任务删除使用场景某个时间定时处理某个任务、发邮件、短信等消息提醒、订单通知、统计报表系定时任务划分单机定时任务单机的容易实现，但应用于集群环境做分布式部署，就会带来重复执行解决方案有很多比如加锁、数据库等，但是增加了很多非业务逻辑分布式调度。
2024-08-10 10:05:01
721
原创 海量数据处理商用短链接生成器平台 - 12
简介：微信开发常用工具-内网穿透映射介绍和使用什么是内网穿透支付成功需要配置回调通知应用服务器订单支付成功，需要配置对应的域名在本地电脑开发，微信、支付宝没法回调，所以需要配置个地址映射，就是外部服务器可以通过这个地址访问当前开发电脑的地址微信登录、授权、支付等都是需要域名映射工具配合工具花生壳 https://hsk.oray.com/小米球 http://ngrok.ciqiuwl.cn/natapp(采用) https://natapp.cn/账号申请（）1、注册2、实名制。
2024-08-09 20:06:32
854
原创 海量数据处理商用短链接生成器平台 - 11
简介：介绍常用的第三方支付和聚合支付什么是第三方支付第三方支付是指具备一定实力和信誉保障的独立机构，采用与各大银行签约的方式，通过与银行支付结算系统接口对接而促成交易双方进行交易的网络支付模式通俗的例子：支付宝，微信支付，百度钱包，PayPal（主要是欧美国家）拉卡拉(中国最大线下便民金融服务提供商)优点支付平台降低了政府、企业、事业单位直连银行的成本，满足了企业专注发展在线业务的收付要求。使用方便。对支付者而言，他所面对的是友好的界面，不必考虑背后复杂的技术操作过程缺点。
2024-08-08 13:13:50
1005
原创 海量数据处理商用短链接生成器平台 - 9
简介： 冗余双写架构-短链服务开发总结短链服务器CRUD冗余双写架构异常队列最终一致性简介： 流量包商品服务-数据库表介绍数据库表介绍`title` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin DEFAULT NULL COMMENT '商品标题',
2024-08-07 22:50:07
752
原创 海量数据处理商用短链接生成器平台 - 7
简介： 短链服务-自定义分库分表策略单元测试实战单元测试保存@Autowired/*** 保存*/@Testi < 10;i++) {//}查找@Test。
2024-08-07 09:23:32
604
原创 海量数据处理商用短链接生成器平台 - 6
简介： 大话业界常见分库分表中间件介绍业界常见分库分表中间件Cobar（已经被淘汰没使用了）TDDL淘宝根据自己的业务特点开发了 TDDL （Taobao Distributed Data Layer）基于JDBC规范，没有server，以client-jar的形式存在，引入项目即可使用开源功能比较少，阿里内部使用为主Mycat地址 http://www.mycat.org.cn/Java语言编写的MySQL数据库网络协议的开源中间件，前身 Cobar。
2024-08-07 09:17:11
702
原创 海量数据处理商用短链接生成器平台 - 5
简介：账号微服务注册接口介绍和业务代码编写微服务注册接口开发请求实体类编写controllerservice手机验证码验证密码加密（TODO）账号唯一性检查(TODO)插入数据库新注册用户福利发放(TODO)mapper密码存储安全彩虹表暴力破解网站：https://www.cmd5.com/密码存储常用方式双重MD5MD5+加盐双重MD5+加盐简介： Mysql数据库水平分库分表常见策略介绍-range水平分库分表，根据什么规则进行？怎么划分？
2024-08-06 20:59:01
758
原创 数据驱动未来：构建下一代湖仓一体电商数据分析平台，引领实时商业智能革命
在数据仓库架构的演进历程中，Lambda架构作为一个标志性的阶段，它融合了离线处理和实时处理两种数据处理途径，为满足多样化的数据处理需求提供了有效的解决方案。因此，在实时数仓的构建中，许多企业并没有完全采用Kappa架构，而是选择了混合架构，以兼顾实时性和离线数据处理的需求。综上所述，这一架构通过巧妙地融合了数据湖技术和现代计算引擎，不仅解决了Kappa架构的多项挑战，还为构建一个可落地的实时数仓方案提供了坚实的基础，实现了实时报表的快速产出，满足了企业对实时数据分析的迫切需求。
2024-07-29 16:19:52
1505
原创 域名解析流程：从浏览器输入URL到网页加载的全过程
如果用户之前已经将 `example.com` 的NS记录更新为指向您的DNS服务器的公网IP，那么在递归服务器查询权威服务器时，将被引导到您的DNS服务器。您的DNS服务器接收到查询请求后，在配置的区域文件中查找 `www.example.com` 的IP地址，并将这个地址返回给递归服务器。递归服务器向 `example.com` 的权威DNS服务器查询，获取 `www.example.com` 的IP地址。递归服务器将返回的IP地址缓存起来，以备后续查询使用，然后将IP地址返回给用户的浏览器。
2024-07-25 15:58:28
444
原创 Spring Boot 整合 Apache Phoenix 进行 HBase 数据操作指南
下面是一个简单的示例，展示了如何在Spring Boot应用中集成Phoenix，并执行基本的表操作和查询。如果你更倾向于使用JPA而不是JdbcTemplate，你可以创建实体类、仓库接口，并使用Spring Data JPA的功能。但是，请注意，Phoenix的JPA支持可能有限，并且可能不支持所有JPA特性。最后，请确保在运行应用程序之前，你的HBase集群和Phoenix都是运行正常的，并且Zookeeper的地址、用户名和密码（如果有的话）都是正确的。方法执行一个简单的SELECT查询，并使用。
2024-04-10 11:34:27
1354
原创 大数据分层存储架构：ODS、DWD、DWM与DWS详解
通过这种分层存储结构，大数据系统可以更好地满足不同层次的数据需求，提高数据处理和分析的效率。同时，各层之间的数据流动和交互也变得更加清晰和可控，有助于减少数据冗余和错误，提高数据质量。在大数据领域中，ODS、DWD、DWM和DWS代表了数据仓库的不同层次，它们共同构成了大数据的分层存储结构。这种结构的设计有助于提高数据查询效率，降低成本，并满足不同的业务需求。需要注意的是，具体的分层结构和命名可能因不同的公司或项目而有所差异，但总体的设计思路和原则是一致的。
2024-04-08 21:36:18
4563
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人