- 博客(1167)
- 资源 (74)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 MQL4语言简介
MQL 语言编程框架和模式就是要告诉读者“编程其实也不是很难的事儿”，只要理解并掌握了其编写的框架，勤加练习就会有非常好的学习效果，下面就让我们一点点揭开MQL语言神秘的面纱，享受编程带给我们的便捷和高效。编写完成之后，点击工具栏上方的“编写”按键，如果没有错误，则会在工具栏显示“零错误”，说明我们的EA编写没有问题，已经通过了编译，可以加载运行，如图所示。如果MT4终端允许该货币对自动交易，则在货币对K线图表的右上角会出现EA的名称和一个笑脸的标志，反之则会出现EA名称和一个哭脸的标志，如图箭头3所指。
2024-03-09 18:14:11
396
原创 AdaptiveMA自适应均线 过滤器 期货多品种模型 收益稳定增长
【代码】AdaptiveMA自适应均线 过滤器 期货多品种模型 收益稳定增长。
2024-03-09 17:04:15
376
原创 Hivesql基础查询
对题目进行分析，没有学全所有课程，也就是说该学生选修的课程数量小于总的课程数。第二步：将第一步中获取的课程编号作为条件，查询成绩表获取相关信息，并根据学生。第二步：将第一步中获取的课程编号作为条件，查询成绩表获取相关信息，并根据学生。第二步：将成绩表和学生表进行关联查询，关联字段为学生编号，并按照学生编号和姓。第一步：查询成绩表，按照学生编号分组，获取每一个学生的平均成绩。查询每门课程的平均成绩，结果按平均成绩升序排序，平均成绩相同时，按课程号。查询该学生不同课程的成绩相同的学生编号、课程编号、学生成绩。
2024-02-15 10:07:19
87
原创 如何做好业务理解
深入研究行业：以电子商务行业为例，你可以学习有关该行业的基本知识，如在线购物平台、数字支付系统、物流配送等。例如，你可以研究他们的电子商务平台是如何运作的，包括供应链管理、营销策略、用户界面等。例如，你需要了解什么是B2C（企业对消费者）、C2C（消费者对消费者）交易模式，以及常见的电子商务支付方式如支付宝、微信支付等。通过这样的交流，你可以借鉴他们的经验和见解，了解行业中的最佳实践和创新思路。例如，你可以研究其他类似的电子商务平台，了解他们的优势和特点。
2023-08-09 17:08:05
248
原创 ChatGPT Prompting开发实战
从开源软件命名的角度讲，LangChain最开始的时候，核心聚焦的是Chain，后来聚焦Agent。你在这里面输入的任何信息，从模型的角度讲都叫提示词（Prompt），但工业级的提示词和通常大家理解中的提示词不太一样，我们首先来看一下，工业级的提示词是什么样，给大家准备了很多具体的例子，如图7-2所示，这些例子基本都来自于DeepLearning.AI，从提示词的角度，这些例子是非常系统化的，而且非常有价值，例如，这边谈到的思维链（chains-of-thought），显然是一个非常重要的例子。
2023-08-09 16:12:51
94
原创 NLP总结
当进行自然语言处理任务时，文本预处理是一个重要的步骤，它涉及到对文本数据进行清洗、规范化和转换，以便后续的NLP任务能够更好地进行。3. 停用词去除：停用词是指在文本中频繁出现但缺乏实际含义的单词，例如 "a"、"the"、"is" 等。基于深度学习的NLP模型：深入了解深度学习在NLP中的应用，包括循环神经网络（RNN）、长短时记忆（LSTM）、Transformer等模型。1. 文本清洗：这是预处理的第一步，目的是去除文本中的噪声和不必要的字符。这样可以避免对于大小写敏感的问题，并减少特征空间的大小。
2023-08-09 15:59:40
84
原创 关于新一代票据业务系统最全介绍
新一代票据业务系统，替代了之前两个系统的分割管理的状态，一方面继承和优化CPES系统功能规则，另一方面重构原来ECDS业务流程和习惯的功能规则，以创新思维导向和问题解决导向为亮点，面向全体市场参与主体和未来，搭建的一个统一处理票据全生命周期系统平台。而老系统中，票据样式包含票据正面和票据背面，且票据正面新老系统也有所变化。以下图为例，图示票据（包）的总金额为10000元，在新系统中，贴现人可以选择分包贴现，比如仅贴现900元，则企业只需在“交易金额”框中手动输入900元，即可完成分包贴现操作。
2023-07-28 11:59:49
759
原创 Flask框架来实现前端输入参数传递到后端保存的功能
请注意，这只是一个简单的示例，实际应用中可能会涉及更多复杂的处理和验证逻辑。此外，前端页面的样式和交互可以通过引入 CSS 和 JavaScript 进行改进。在输入框中输入参数并点击保存按钮后，参数将被传递到后端保存，并触发。通过运行脚本，Flask 应用将在本地开启一个服务器，并监听指定的端口。
2023-07-17 21:34:21
727
原创 一个使用tkinter库编写的更复杂的面向对象代码示例
然后使用一个列表中的循环创建数字按钮，并为每个按钮添加了相应的点击事件处理方法。清除按钮和计算按钮也分别添加了相应的点击事件处理方法。方法将获取当前结果并将点击的按钮文本追加到结果字符串后面。清除按钮将清空结果字符串，而计算按钮将根据结果字符串中的表达式计算结果并显示在结果标签上。请注意，这只是一个简单示例，仅用于演示如何使用tkinter库编写面向对象的GUI代码。的类来实现一个简单的计算器应用程序。应用程序窗口包含一个显示结果的标签、数字按钮、清除按钮和计算按钮。在这个例子中，我们创建了一个名为。
2023-07-17 20:46:43
183
原创 Python函数简介
Python 函数是一段可重用的代码块，用于执行特定的任务。以上是 Python 函数定义和使用的基本示例，根据实际需求可以定义更复杂的函数。通过函数的封装和调用，可以提高代码的重用性和可维护性。默认参数：给函数参数设置默认值，调用时如果没有传递对应参数，则使用默认值。关键字参数：通过指定参数名传递数值，可以不按照顺序传递参数。收集关键字参数：接收任意数量的关键字参数，保存在字典中。收集位置参数：接收任意数量的位置参数，保存在元组中。位置参数：按照参数顺序传递数值。
2023-07-15 22:17:06
89
转载 数据仓库常用几种建模方法
从笔者的经验来看，再没有现成的行业模型的情况下，我们可以采用实体建模的方法，和客户一起理清整个业务的模型，进行领域概念模型的划分，抽象出具体的业务概念，结合客户的使用特点，完全可以创建出一个符合自己需要的数据仓库模型来。因此，在整个数据仓库的模型的设计和架构中，既涉及到业务知识，也涉及到了具体的技术，我们既需要了解丰富的行业经验，同时，也需要一定的信息技术来帮助我们实现我们的数据模型，最重要的是，我们还需要一个非常适用的方法论，来指导我们自己针对我们的业务进行抽象，处理，生成各个阶段的模型。
2023-07-10 22:36:26
398
转载 数仓分层设计架构 详解-ODS-DWD-DWS-ADS
一、数仓建模的意义，为什么要对数据仓库分层？只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。分层意义1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。2、数据血缘追踪：简单来讲可以这样理解
2023-07-10 22:35:26
3668
1
原创 基础进阶ODS、DWD、DWM等模型分层与项目实战
问：还是不太明白 ods 和 dwd 层的区别，有了 ods 层后感觉 dwd 没有什么用了。答：嗯，我是这样理解的，站在一个理想的角度来讲，如果 ods 层的数据就非常规整，基本能满足我们绝大部分的需求，这当然是好的，这时候 dwd 层其实也没太大必要。但是现实中接触的情况是 ods 层的数据很难保证质量，毕竟数据的来源多种多样，推送方也会有自己的推送逻辑，在这种情况下，我们就需要通过额外的一层 dwd 来屏蔽一些底层的差异。
2023-07-03 21:22:48
120
原创 数仓面试基础知识
将数据仓库分为不同的层级，可以根据用户的需求和权限将不同层级的数据暴露给用户，实现对数据的灵活访问和控制，同时确保敏感数据的安全性。数据仓库中的数据通常具有不同的生命周期，分层可以帮助对数据进行更好地管理和归档，确保数据的可用性和长期保存。数仓模型是用于构建数据仓库的一种模型，它是一种综合各种数据源，建立集成的、主题导向的、高度可扩展且用于分析和报告的数据架构。综上所述，数仓分层有助于提高数据管理和使用效率，权限控制，提升数据仓库的性能和扩展性，支持数据的生命周期管理。
2023-07-03 21:08:58
319
原创 巧用SQL语句中的函数
TRIM ( [ [位置] [要移除的字串] FROM ] 字串): [位置] 的可能值为 LEADING (起头), TRAILING (结尾), or BOTH (起头及结尾)。select concat(label1,',',label2,',',label3) from poems where title = '静夜思';可以使用replace函数，该函数定义为replace(original-string，search-string，replace-string)
2023-06-30 22:53:45
76
原创 什么是ABTest？
实际上，从理论上看实验平台及ABTest我们会觉得其非常复杂和深奥，但从实际的代码角度看，根据理论设计的模式规则、定义的实验以及为实验设计的参数指标等，最终的目的只是为了给业务代码提供优雅的逻辑判断方式，并在不需要业务逻辑关心的情况下，按照可统计、可分析方式进行日志的输出，并最终通过这些数据分析预定的指标、参数，从而得出实验或ABTest的结果（ABTest实际上是一种相对简单的实验，大家从概念上不要有困扰）。首先，拥有一个不重叠的域，可以允许我们进行一些需要改变大量通常不会同时使用的参数的实验。
2023-06-26 21:50:28
2457
原创 高逼格的 SQL 写法：行行比较
1、最后选择了 行行比较 这种方式来实现了需求别问我为什么，问就是逼格高！2、某一个需求的实现往往有很多种方式，我们需要结合业务以及各种约束综合考虑，选择最合适的那个3、行行比较是 SQL-92 中引入的，SQL-92 是 1992 年制定的规范行行比较不是新特性，而是很早就存在的基础功能！
2023-06-18 07:06:20
107
原创 如何学习SQL多表查询
SQL Server 中常见的 JOIN 类型包括 INNER JOIN（内连接）、LEFT JOIN（左连接）、RIGHT JOIN（右连接）和FULL JOIN（全连接）。在今天的学习中，我们通过案例代码演示了不同类型的 JOIN 使用方法，帮助你更好地理解 JOIN 的应用场景和语法。3、RIGHT JOIN（右连接）：右连接返回右表中的所有行和左表中满足连接条件的行。4、FULL JOIN（全连接）：全连接返回左表和右表中的所有行，如果某个表中没有匹配的行，则返回 NULL 值。
2023-06-12 22:34:12
59
转载 flask+Gunicorn(gevent)+sqlalchemy 高并发的解决方法探究
2. 第二点是对于timer事件的算法优化，通过环形缓冲区(128)和bit vector实现查看部分源码可以看出，主要实现是每个时间点对应的是缓冲区的一个位置，每个缓存区使用bit vector 表示fd的数值，相当于一种hash映射所以时间复杂度为(o(n))，n为那个缓存区所存的fd数量。1. 主要是考虑是fd（file descriptors）在unix中是用比较小的正整数表示的，那么把fd的相关信息，全部存储在一个array中，这样使得查找快速，在操作socket状态时会更加的快。
2023-03-18 14:30:06
1449
1
转载 子空间聚类
子空间聚类算法大致可分为 5 类，基于矩阵分解的方法、代数方法、迭代方法、统计方法、基于谱聚类的方法，本文主要讲的是基于谱聚类的方法。子空间聚类基于一个合理的假设数据采样自多个低维子空间的并（集）要说下什么是子空间。在数学上，子空间指的是维度小于等于全空间的部分空间。理解起来不是很直观，其实简单想就是一个三维空间的子空间就是二维和一维空间。
2023-03-18 14:26:20
2154
1
转载 在 Flask 应用中使用 gevent
Flask 自带的调试模式可以让我们在程序改动时自动重新加载我们的应用程序，而且 jinja2 的模板也会随着改动自动刷新。然而 Flask 是单线程运行，如果在某个页面中执行了一些耗时的工作，那么程序就会在这里等待，无法响应其他的请求。如果你使用了模板，那么你可能已经注意到了，使用 gevent 后修改模板再次访问可能也不会看到页面上有相应的改动。，主要原理是利用 watchdog 提供的文件监听功能，在创建、修改文件时会触发相应的处理器，这样就可以实现自动重新加载功能。而且在上面的代码中，我已经将。
2023-03-18 14:25:13
1016
原创 VSCode + PYQT5 + QtDesigner 环境搭建和测试
（2）在welcome.ui上右键选择如下图红色圈内操作。点击后，会自动生成一个叫：UI_welcome.py的文件，里面就是刚才绘制界面的UI类。绘制完后，起个名字，保存到你准备制作该项目的文件夹中，比如：welcome.ui。将该文件夹中designer.exe生成桌面快捷方式，方便日后制作.ui文件。备注：也可以选择VS2017+QtDesigner ，但更喜欢VSCode。（1）打开VSCode，打开welcome.ui刚才存放的那个工程文件夹。第4步：用VSCode转化.ui文件为.py文件。
2023-03-12 22:28:54
1320
原创 Skforecast: time series forecasting with Python and Scikit-learn
【代码】Skforecast: time series forecasting with Python and Scikit-learn。
2023-03-08 20:57:30
319
转载 Pandas 2.0来了
Pyarrow是一个提供列式内存格式的库，它是一种组织数据的方式，使其更容易读取和并行处理。总之，在pandas 2.0中使用pyarrow后端可以使数据操作更快、更节省内存，尤其是在处理大型数据集时。
2023-03-08 19:47:02
344
原创 关于数据仓库与数据湖
数据仓库就是为了解决数据库不能解决的问题而提出的。那么数据库无法解决什么样的问题呢？这个我们得先说说什么是OLAP和OLTP。数据库的大规模应用，使得信息行业的数据爆炸式的增长，为了研究数据之间的关系，挖掘数据隐藏的价值，人们越来越多的需要使用OLAP来为决策者进行分析，探究一些深层次的关系和信息。但很显然，不同的数据库之间根本做不到数据共享，就算同一家数据库公司，数据库之间的集成也存在非常大的挑战（最主要的问题是庞大的数据如何有效合并、存储）。
2023-03-08 19:43:36
590
原创 HIVE SQL lateral view 处理字段
1. 首先把ST_ENTP_TYPE_CD字段炸开。2. 把ST_ENTP_TYPE_CD字段替换。
2023-02-11 09:19:14
226
原创 Hadoop、Spark等5种大数据框架对比
如果部署需求与当前系统不兼容，也许并不适合使用，但如果需要极低延迟的处理，或对严格的一次处理语义有较高需求，此时依然适合考虑。为此Spark可创建代表所需执行的全部操作，需要操作的数据，以及操作和数据之间关系的Directed Acyclic Graph（有向无环图），即DAG，借此处理器可以对任务进行更智能的协调。针对同一个数据执行同一个操作会或略其他因素产生相同的结果，此类处理非常适合流处理，因为不同项的状态通常是某些困难、限制，以及某些情况下不需要的结果的结合体。此类处理非常适合某些类型的工作负载。
2023-02-06 23:10:15
369
原创 用Python打开数据库的大门-数据库的JOIN语句
上图的连接方式被称为左外连接（left outer join）或左连接（left join），是以外出记录为左表，基础信息为右表进行的连接，保留了左表的所有信息，而不展示右表连接失败的数据。了解了这四种连接方式，连接的操作就没有多大问题了。这里LEFT JOIN可以替换成任意的连接方式，只要数据库支持即可，在LEFT JOIN左边的是左表，在右边的则是右表，而ON引导的是一个判断语句，判定两个表的某个字段为共同字段。连接的目的是尽量减少数据的冗余，减少重复性的工作，而这部分构思最好在数据库的设计时就完成。
2023-01-30 22:56:58
170
原创 Spark性能优化指南——高级篇
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。
2023-01-28 22:11:17
369
原创 Spark性能优化指南——基础篇
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。
2023-01-28 22:10:13
139
Python+pytest+allure+log+yaml+mysql+钉钉企微通知接口自动化框架
2023-09-01
apache-jmeter-5.6.2装有插件版本
2023-08-14
Hive sql系统学习教程
2023-06-24
经典数据结构和算法20220724
2022-07-24
spark-2.2.0-bin-hadoop2.7.zip
2021-11-10
昨夜星辰昨夜风，画楼西畔桂堂东。
2021-03-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人