- 博客(11)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Apache Airflow DAG代码自动生成，使用Springboot+Freemarker
目前，Apache Airflow并没有直接支持从图形流程图生成可用的DAG Python代码的官方工具或库。因此，如果要根据自己画的流程图生成Airflow的DAG代码，只能考虑其他手动或自定义的方法，如自定义脚本、模板引擎、或者一些转换工具。自动生成Airflow DAG代码可能涉及到很多复杂的问题，因为需要将图形元素（节点、边等）映射到Airflow的概念（任务、依赖关系等）。在实际实现中，可能需要一些自定义逻辑和调整以确保生成的代码是正确且符合Airflow的要求的。
2024-01-26 17:12:08
1217
1
原创 修复现网漏洞扫描结果项：ZooKeeper 未授权访问[原理扫描]
某主机漏扫后，有高危风险项需要修复：ZooKeeper 未授权访问[原理扫描]
2024-01-23 08:42:29
522
1
原创 ElasticSearch 7.x现网运行问题汇集3
某现网ElasticSearch 故障，很长时间unassgined_shards的数量都不减少。
2024-01-21 10:48:42
859
原创 ElasticSearch 7.x现网运行问题汇集2
现网indices有数据，如下，GET /_cat/indices得到的结果里，待查索引显示有数据472033条，但是Postman 发查询语句GET /_search match_all，查不出数据；GET /_count也是0。索引状态也是open，而不是close。
2024-01-21 10:28:09
654
原创 Apache Zeppelin结合Apache Airflow使用1
之前学了Zeppelin的使用，今天开始结合Airflow串任务。Apache Airflow和Apache Zeppelin是两个不同的工具，各自用于不同的目的。Airflow用于编排和调度工作流，而Zeppelin是一个交互式数据分析和可视化的笔记本工具。虽然它们有不同的主要用途，但可以结合使用以满足一些复杂的数据处理和分析需求。使用Airflow编写调度任务，以便在特定时间或事件触发时运行Zeppelin笔记本。
2024-01-19 12:14:49
1276
原创 Kaggle之旅1
Kaggle是一个以数据科学竞赛为主题的在线平台。它提供了一个数据科学社区，让数据科学家和机器学习专家可以在这里交流、学习和竞争。Kaggle上有大量的数据集可以供用户使用，这些数据集可以用于挑战、研究和实践。用户可以在Kaggle上提交他们的解决方案，并与其他用户进行比较和讨论。平台还提供了一个排行榜，显示出解决方案的效果和排名。除了数据集和竞赛，Kaggle还提供了各种教程和学习资源，帮助用户提升他们的数据科学技能。Kaggle还有一个社区论坛，用户可以在这里提问、寻求帮助和分享经验。
2024-01-16 20:04:44
932
原创 Apache Zeppelin学习记录2
上一章讲了如何使用zeppelin来接入python，本节我们来看看如何使用RESTful API操作zeppelin的notebook和paragraphs。提示：官方API文档见[https://zeppelin.apache.org/docs/0.10.1/usage/rest_api/notebook.html](https://zeppelin.apache.org/docs/0.10.1/usage/rest_api/notebook.html)
2024-01-15 09:27:03
1283
原创 Apache Zeppelin学习记录1
Apache Zeppelin是一个开源的数据分析和可视化的交互式笔记本，类似于Jupyter Notebook。它支持多种编程语言（如Scala、Python、R、SQL等）和数据处理工具（如Apache Spark、Hadoop等）。Zeppelin提供了一个集成的开发环境，使用户能够以交互的方式进行数据分析、可视化和共享。Zeppelin的主要特点包括：多语言支持：Zeppelin支持多种编程语言，例如Scala、Python、R、SQL等。用户可以根据自己的需求选择合适的语言进行分析。
2024-01-14 11:17:36
654
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人