- 博客(57)
- 收藏
- 关注
RSS订阅原创 Spark Explain：查看执行计划
Spark SQL explain 方法有 simple、extended、codegen、cost、formatted 参数，具体如下
2023-02-25 17:48:30
2361
1
原创 小知识点：ARM 架构 Linux 大数据集群基础环境搭建（Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node）
ARM 架构 Linux 大数据集群基础环境搭建（Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node）
2023-02-19 16:06:01
1814
5
原创 小知识点：Mac M1/M2 VMware Fusion 安装 Centos 7.9（ARM 64 版本）
最近换了 Mac M2 芯片的笔记本，用原来的 Centos 镜像安装虚拟机直接报错 “无法打开此虚拟机的电源，因为它需要使用 X86 计算机架构，而该架构与此 Arm 计算机架构主机不兼容。”
2023-02-17 17:53:32
17888
26
原创 小知识点：MySQL 的 redo log、undo log、binlog 以及 Java 监控 binlog
MySQL 的 redo log、undo log、binlog 以及 Java 监控 binlog
2023-02-09 12:10:07
317
原创 小知识点：Airflow 安装部署
安装流程一、Python 安装二、Airflow 安装三、Airflow 配置四、存在的坑部分安装方法参考： Linux 虚拟机：大数据集群基础环境搭建（Hadoop、Spark、Flink、Hive、Zookeeper、Kafka、Nginx）一、Python 安装当前安装版本为 Python-3.9，使用源码包安装下载源码包或者 wget 下载wget https://www.python.org/ftp/python/3.9.6/Python-3.9.6.tgz解压到指定目录
2023-02-08 09:10:16
1143
原创 Linux 虚拟机：大数据集群基础环境搭建（Hadoop、Spark、Flink、Hive、Zookeeper、Kafka、Nginx）
基本信息：Centos-7.9、Java-1.8、Python-3.9、Scala-2.12、Hadoop-3.2.1、Spark-3.1.2、Flink-1.13.1、Hive-3.1.3、Zookeeper-3.8.0、Kafka-3.2.0、Nginx-1.23.1目录一、相关文件下载地址二、虚拟机基础配置三、语言环境安装1. Java 环境安装2. Python 环境安装3. Scala 环境安装四、大数据组件安装1. Hadoop 集群安装2. MySQL 安装3. Spark 安装4. F
2023-02-06 08:35:27
5329
原创 Java JVM：线程安全与锁优化（八）
目录一、线程安全二、锁优化一、线程安全当多个线程同时访问一个对象时，如果不用考虑这些线程在运行时环境下的调度和交替执行，也不需要进行额外的同步，或者在调用方进行任何其他的协调操作，调用这个对象的行为都可以获得正确的结果，那就称这个对象为线程安全共同特征代码本身封装了所有必要的正确性保障手段（互斥同步等），令调用者无须关心多线程下的调用问题，更无须自己实现任何措施来保障多线程环境下的正确调用白话文：代码本身已经有了必要的正确性保障手段，像什么互斥同步这些，调用的时候就不需要自己实现任何操作保障多
2023-02-03 08:36:34
235
原创 Java JVM：Java 内存模型与线程（七）
衡量一个服务性能的高低好坏，每秒事物处理数（TPS）是重要的指标之一，而 TPS 值与程序的并发能力又有非常密切的关系目录一、硬件的效率与一致性二、Java 内存模型三、Java 与线程这里是看书笔记，之前文章也有相关介绍：Java JMM：内存模型一、硬件的效率与一致性内存模型：在特定的操作协议下，对特定的内存或高速缓存进行读写访问的过程抽象为了充分利用运算单元，处理器对输入的代码进行乱序执行优化，在计算后将乱序执行的结果重组二、Java 内存模型Java 内存模型的主要目的是
2023-02-02 08:58:58
197
原创 Java JVM：虚拟机类加载机制（五）
Java 虚拟机把描述类的数据从 Class 文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的 Java 类型
2023-01-30 14:10:22
164
原创 Python 模型训练：LSTM 时间序列销售额预测（训练、保存、调用）
LSTM (long short-term memory) 长短期记忆网络，具体理论的就不一一叙述，直接开始
2023-01-09 15:46:24
3367
3
原创 Java JVM：垃圾收集器与内存分配策略（二）
当需要排查各种内存溢出、内存泄漏问题时，当垃圾收集成为系统达到更高并发量的瓶颈时，我们就需要对这些进行监控和调节
2023-01-05 10:23:25
180
原创 Mac Parallels Desktop 安装 Centos 虚拟机
Mac Parallels Desktop 安装 Centos 虚拟机
2022-12-21 11:58:23
1459
1
原创 PySpark MLlib：逻辑回归模型训练过程（训练、评估、编解码、保存、读取）
模型训练流程一、引入 Spark 环境二、设置模型评估方法三、读取/修改 数据四、编码、合并列五、模型训练逻辑回归朴素贝叶斯六、模型保存七、读取模型测试数据没有做训练测试集划分，直接全量训练，全量测试一、引入 Spark 环境from pyspark.sql import SparkSessionspark = SparkSession.builder.master("local[*]").getOrCreate()二、设置模型评估方法# 评估from pyspark.ml.evaluati
2022-12-15 08:31:51
715
1
原创 Python 模型训练：逻辑回归、KNN、朴素贝叶斯、LDA、支持向量机、GBDT、决策树
常用的分类预测模型：逻辑回归、KNN、朴素贝叶斯、LDA、SVC、GBDT、决策树
2022-12-12 23:14:44
3997
原创 Python Pandas：DataFrame 一列切分成多列、分隔符切分选字段
Python Pandas：DataFrame 一列切分成多列、分隔符切分选字段
2022-12-10 12:42:49
8364
原创 小知识点：Docker 安装、命令、Dockerfile ...
Docker 安装、命令、Dockerfile、SpringBoot 打包、...
2022-12-07 10:27:53
332
原创 Java Netty：核心模块（二）
Netty 核心模块：Bootstrap、ServerBootstrap、Future、ChannelFuture、Channel、ChannelHandler、Pipeline、ChannelPipeline、ChannelHandlerContext、ChannelOption、EventLoopGroup、NioEventLoopGroup、Unpooled
2022-12-06 10:13:59
351
原创 Zookeeper 应用：Java 基本操作
Zookeeper：分布式协调服务，数据存储在内存中（每个节点不超过 1M），采用分层存储结构，可以通过不同的路径访问到不同的节点。
2022-12-02 14:18:57
154
原创 Java JMM：内存模型
Java 多线程内存模型跟 cpu 缓存模型类似，基于 cpu 缓存模型来建立，Java 线程内存模型是标准化的，屏蔽掉了底层不同计算机的区别。
2022-12-01 17:34:24
109
原创 Kafka 服务端：请求处理（十三）
KafkaServer 会创建请求处理线程池 KafkaRequestHandlerPool，在请求处理线程池中会创建并启动多个请求处理线程 KafkaRequestHandlerrequestHandlerPool = new KafkaRequestHandlerPool(config.brokerId, socketServer.requestChannel, apis, config.numIoThreads)SocketServer 中全局的请求通道会传递给每个请求处理线程，这样就能共同消
2022-11-29 08:53:28
174
原创 Kafka 服务端：RequestChannel 请求队列和响应队列（十二）
在 KafkaServer 中，会将 SocketServer 的请求通道传给 Kafka 请求处理线程 KafkaRequestHandler 和 KafkaApis请求通道就是处理器与请求处理线程和 KafkaApis 交换数据的地方如果处理器往请求通道添加请求，请求处理器线程和 KafkaApis 都可以获取到请求通道中的请求如果请求处理线程和 KafkaApis 往请求通达添加响应，处理器也可以从请求通道获取响应处理器会将客户端发送的请求放到全局的请求队列（requestQueu
2022-11-28 13:09:51
586
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人