- 博客(15)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 pywebview桌面程序开发（技术路线：前端+Python，全网独一份！！！！！！）
pywebview声称Build GUI for your Python program with JavaScript, HTML, and CSS。就是可以使用web技术来实现桌面应用程序开发。其内核我理解仍然是浏览器，只不过将浏览器封装成系统窗口，这样就可以将web无缝切换到桌面应用，相比pyQt等重武器还是比较方便的。对于目前比较火的electron，Python的加入给应用程序提供了上限，据说打包的大小也比electron小。
2024-03-01 23:00:37
1886
1
原创 大数据之Flink（一）
flink是一个分布式计算/处理引擎，用于对无界和有界数据流进行状态计算。flink处理流程电商销售：实时报表、广告投放、实时推荐物联网：实时数据采集、实时报警物流配送、服务：订单状态跟踪、信息推送银行、金融：实时结算、风险检测有状态的流式处理用内存的本地状态替代传统的数据库flink核心特点：高吞吐低延迟、结果准确性、精确一次的状态一致性保证、兼容性好、高可用和动态扩展。SQL-最高层语言Table API-声明式领域专用语言。
2024-02-26 21:50:55
718
3
原创 大数据之flume（一）
flume是一个分布式、高可用、高可靠的海量日志采集、聚合、传输系统，支持在日志系统中定制各种数据发送方从而收集数据，并提供数据简单处理能力并传到各种数据接收方。flume设计原理是基于数据流的，能够将不同数据源的海量日志进行高效收集、聚合、移动、存储，能做到近似实时。自定义拦截器自定义source自定义sink。
2024-02-23 14:37:08
906
1
原创 机器学习（一）
它将代码和它的输出集成到一个文档中，并且结合了可视的叙述性文本、数学方程和其他丰富的媒体。下载时可能需要登录，用邮箱注册个账号登录后即可下载，下载得到zip文件解压后将 bin、include、lib三个文件夹复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x目录下，xx.x代表版本号。打开网址https://developer.nvidia.com/cuda-downloads#查找对应的版本安装包，下载后直接安装就行。
2024-02-21 20:43:08
746
1
原创 大数据之Sqoop
sqoop是Hadoop生态体系和RDBMS体系之间传送数据的一种工具。工作机制： 将导入导出命令翻译成MR程序来实现，MR中主要是对inputformat和outputformat进行定制。Hadoop生态体系包括：HDFS、HBase、Hive等RDBMS体系包括：MySQL、Oracle等整体架构如下：sqoop与dataX对比。
2024-02-18 12:08:44
801
原创 Kafka
消息队列一般用于消息的临时存取，遵循先入先出原则。常用的消息中间件：Kafka（大数据领域，性能高）、ActivateMQ、RabbitMQ、RocketMQ等。异步处理系统解耦流量削峰日志处理生产者消费者模型消息队列模式点对点模式每个消息只有一个接收者，发送者和接收者没有依赖性，接收者在成功接收消息后需向队列应答成功。发布/订阅模式每个消息有多个订阅者，发布者和订阅者在时间上有依赖性。某主题的订阅者，必须先创建订阅者才能消费消息。
2024-02-09 13:02:14
683
1
原创 HBase
Phoenix让Hadoop支持OLTP和业务操作分析。可提供标准的SQL以及完备的ACID事务支持。Phoenix通过协处理器在服务端执行操作。Phoenix是基于HBase进行的扩展，核心是一些Phoenix开头的jar包，这些jar包实现了很多协处理器（执行put/get/delete这些操作的时候可以执行一段特殊代码）
2024-02-09 12:56:57
937
1
原创 Zookeeper
Zookeeper是一个树形目录服务，是一个基于观察者模式设计的分布式、开源应用程序协调服务，可存储数据和接受注册。一旦数据发生变化，Zookeeper负责通知已注册的节点。主要功能：配置管理、分布式锁、集群管理Zookeeper：一个leader和多个follower组成集群Zookeeper集群中有半数以上节点正常，即可提供服务，适合奇数台服务器。全局数据一致：Zookeeper保存一份相同的副本。更新请求顺序执行，来自同一个Client的请求按发送顺序执行。数据更新原子性。
2024-02-09 12:50:52
1077
1
原创 Hive数仓
OLAP分析一般需要设计数据立方体，立方体由分析的维度（dimension）、层级（level）和指标（metric）来定义，支持上卷（roll-up）、钻取（drill-down）、切片（slicing）和切块（dicing）等分析操作。Hive是建立在Hadoop上的开源数据仓库，可将Hadoop文件中的结构化、半结构化数据文件映射成数据库表，并提供查询模型（HQL），方便访问和分析。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。
2024-02-08 23:30:14
1542
6
原创 大数据之Yarn
yarn是一种hadoop资源管理器，一个大数据通用的资源（cpu、内存）管理系统和调度（规则、算法）平台，可为上层提供统一的资源管理和调度，官方架构图如下：三大组件**：ResourceManager、NodeManager、ApplicationMaster**其他组件：**client、container。
2024-02-08 23:26:22
340
原创 大数据之MapReduce（MR）
MapReduce是一个分布式计算框架。思想：将复杂问题分解成若干规模较小的部分，对每个部分进行逐个解决，再将每部分的结果进行合并得到最终结果。
2024-02-08 23:10:05
601
原创 大数据之HDFS
Hadoop 分布式文件系统 ( HDFS ) 是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。然而，与其他分布式文件系统的区别是显着的。HDFS 具有高度容错性，旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问，适合具有大型数据集的应用程序。HDFS 放宽了一些 POSIX 要求，以支持对文件系统数据的流式访问。HDFS 最初是作为 Apache Nutch Web 搜索引擎项目的基础设施而构建的。
2024-02-08 23:09:13
835
原创 Hadoop
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统分布式文件系统/1250388?fromModule=lemma_inlink（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；
2024-02-08 23:07:03
941
原创 Java基础（一）
Collection常用方法add clear isEmpty size，其中 remove contain底层依赖于equals方法，要注意重写类的equals方法。方法：filter、limit、skip、distinct去重（依赖hashCode和equals方法）、concat合并，流被消费就不能再次使用。Map方法：put 、remove、clear、containKey、containValue、isEmpty、size。子类重写父类方法，不能抛出父类没有的或比父类更大的异常。
2024-02-08 23:00:04
544
空空如也
GluonTS中更改值不生效
2022-08-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人