Francek Chen-CSDN博客

原创【深度学习基础】线性神经网络 | softmax回归的从零开始实现

本文讲解了深度学习中softmax回归的从零开始实现。借助softmax回归，我们可以训练多分类的模型。先读取数据，再定义模型和损失函数，然后使用优化算法训练模型。大多数常见的深度学习模型都有类似的训练过程。

2025-01-16 15:00:01 483 3

原创【深度学习基础】线性神经网络 | 图像分类数据集

本文讲解深度学习中的图像分类数据集。Fashion-MNIST是一个服装分类数据集，由10个类别的图像组成。数据迭代器是获得更高性能的关键组件。依靠实现良好的数据迭代器，利用高性能计算来避免减慢训练过程。

2025-01-16 14:30:00 583 4

原创【机器学习 | 数据挖掘】离群点检测

本文首先介绍了离群点检测的相关概念和方法，接着详细讲解了离群点检测的具体方法，包括基于模型的离群点检测方法和基于聚类的离群点检测方法，最后在Sklearn中应用异常值的检测方法。

2025-01-14 09:00:00 1398 26

原创【机器学习与数据挖掘实战】案例09：基于K-Means算法的竞赛网站用户行为分析

本案例基于K-Means算法的竞赛网站用户行为分析。根据竞赛网用户访问的原始数据，在数据中构建用户标签以及对网页进行分类。结合实际业务情况构建了聚类特征。最后用K-Means建立聚类分群模型并对聚类得到的结果分析各个群体的特征，从而结合网站的实际营运情况提出相对应的运营建议。

2025-01-13 09:00:00 229 21

原创【深度学习基础】线性神经网络 | softmax回归

本文讲解深度学习中softmax回归的实现。softmax运算获取一个向量并将其映射为概率。适用于分类问题，使用了softmax运算中输出类别的概率分布。交叉熵是一个衡量两个概率分布之间差异的很好的度量，它测量给定模型编码数据所需的比特数。

2025-01-10 09:00:00 1247 28

原创【大数据基础】大数据概述

本文介绍大数据概述，包括大数据技术的发展历程，大数据基本概念，大数据的影响和应用，大数据的关键技术和计算模式，大数据的相关产业，以及大数据与云计算、物联网的关系。

2025-01-09 17:30:00 941 2

原创【深度学习基础】线性神经网络 | 线性回归的简洁实现

本文讲解深度学习中线性回归的简介实现。我们可以使用PyTorch的高级API更简洁地实现模型。在PyTorch中，data模块提供了数据处理工具，nn模块定义了大量的神经网络层和常见损失函数。我们可以通过_结尾的方法将参数替换，从而初始化参数。

2025-01-08 09:00:00 804 28

原创【机器学习与数据挖掘实战】案例08：基于Apriori算法的商品零售购物篮分析

本案例基于Apriori算法的商品零售购物篮分析，旨在通过大数据挖掘发现商品间的关联性，提升销售策略。分析方法主要包括数据探索性分析、预处理、模型构建、分析与应用。最后解读关联规则结果，理解顾客购物习惯，根据关联规则调整商品摆放，提升购物体验和商品销量。

2025-01-06 09:00:00 808 40

原创【深度学习基础】线性神经网络 | 线性回归的从零开始实现

本文讲解了深度网络是如何实现和优化的。在这一过程中只使用张量和自动微分，不需要定义层或复杂的优化器。包括定义损失函数、定义优化算法。

2025-01-04 09:00:00 1857 40

原创【机器学习 | 数据挖掘】时间序列算法

本文首先介绍了常用的时间序列算法和时间序列的预处理，接着讲解平稳时间序列分析，包括AR模型、MA模型和ARMA模型，最后讲解基于ARIMA模型的非平稳时间序列分析。

2025-01-01 09:00:00 3775 56

原创【机器学习与数据挖掘实战】案例07：基于ARIMA模型的金融服务机构资金流量预测

本案例介绍基于时间序列分析法中ARIMA模型的金融服务机构资金流量预测。首先观察数据的趋势规律，对时间序列的平稳性检验、白噪声检验做了详细说明。接着利用BIC准则定阶对模型进行定阶，构建ARIMA模型对数据新型预测。最后根据真实值与预测值的对比结果对模型进行评价。

2024-12-31 09:00:00 970 30

原创【机器学习 | 数据挖掘】智能推荐算法

本文首先介绍了智能推荐的概念、应用、评价指标，然后讲解了智能推荐常见的关联规则算法，包括Apriori和FP-Growth，最后讲解常见的协同过滤推荐技术，包括基于用户的协同过滤推荐和基于物品的协同过滤推荐。

2024-12-28 09:00:01 1701 53

原创【深度学习基础】线性神经网络 | 线性回归

本文讲解深度学习中的线性回归。机器学习模型中的关键要素是训练数据、损失函数、优化算法，还有模型本身。向量化使数学表达上更简洁，同时运行的更快。最小化目标函数和执行极大似然估计等价。线性回归模型也是一个简单的神经网络。

2024-12-24 09:00:00 1196 52

原创【机器学习与数据挖掘实战】案例06：基于Apriori算法的餐饮企业菜品关联分析

本案例基于Apriori算法的餐饮企业菜品关联分析。首先对原始数据进行探索性分析和预处理，主要进行数据清洗和属性构造。同时构建Apriori模型对餐饮企业的菜品进行关联分析并进行模型评价，从而为企业提供菜品搭配销售意见。

2024-12-23 09:00:00 886 41

原创【机器学习与数据挖掘实战】案例05：基于决策树、梯度提升和XGBoost分类算法的O2O优惠券使用预测

本案例根据O2O平台中用户使用优惠券的历史记录，对原始数据进行数据探索和数据预处理，分别建立决策树分类模型、梯度提升分类模型和XGBoost分类模型，作出相应的预测，并对各个模型进行模型评价。

2024-12-20 09:00:00 2348 49

原创【机器学习与数据挖掘实战】案例04：基于K-Means算法的信用卡高风险客户识别

本案例通过K-Means聚类算法判别出信用卡客户风险级别。介绍了数据探索、属性规约、属性构造。建立客户风险K-Means聚类模型，分析每一类客户的特征。分析目前银行的信用卡客户结构。提出了风险控制相关的建议。

2024-12-19 09:00:00 1275 39

原创【机器学习与数据挖掘实战】案例03：基于k近邻算法的非侵入式电力负荷监测与分解的电力分析

本案例结合非侵入式电力负荷监测与分解的案例，重点介绍了在数据可视化的辅助下k近邻算法的应用。首先利用数据可视化寻找数据的特征，构建特征集合。然后构建k近邻模型，利用构建的特征集合训练模型，接着利用该模型对单一设备所属类别进行判定，最后计算实时用电量。

2024-12-16 09:00:00 1707 58

原创【深度学习基础】预备知识 | 概率

本文讲解深度学习框架中的概率知识。可以从概率分布中采样。使用联合分布、条件分布、Bayes定理、边缘化和独立性假设来分析多个随机变量。期望和方差为概率分布的关键特征的概括提供了实用的度量形式。

2024-12-14 09:00:00 1689 10

原创【机器学习与数据挖掘实战】案例02：基于K-Means算法的航空公司客户价值分析

本案例结合航空公司客户的会员乘机记录信息，首先对原始数据进行探索、清洗和处理。然后构造LRFMC模型，构建特征集合。最后利用K-Means聚类算法对航空公司客户分群，对客户群进行特征分析并给出一定的策略建议。

2024-12-12 09:00:00 2332 61

原创【机器学习与数据挖掘实战】案例01：基于支持向量回归的市财政收入分析

本案例讲解基于支持向量回归的市财政收入分析。结合某市财政收入的数据情况，实现分析、识别影响地方财政收入的关键特征，预测2014年和2015年的财政收入。

2024-12-09 09:00:00 2111 53

原创【深度学习基础】预备知识 | 自动微分

本文讲解深度学习框架的自动计算导数。首先将梯度附加到想要对其计算偏导数的变量上，然后记录目标值的计算，执行它的反向传播函数，并访问得到的梯度。

2024-12-07 09:00:00 1257 14

原创【大数据技术基础 | 实验十五】Storm实验：部署Storm

本实验介绍Storm基础简介及体系架构，Storm集群安装部署，Storm和Zookeeper之间的关系，并加深对Storm架构和原理的理解。

2024-12-05 09:00:00 1480 44

原创【大数据技术基础 | 实验十四】Kafka实验：订阅推送示例

本实验介绍Kafka的安装部署，Kafka的topic创建及如何生成消息和消费消息，Kafka和Zookeeper之间的关系，了解Kafka如何保存数据及加深对Kafka相关概念的理解。

2024-12-02 09:00:00 5092 57

原创【深度学习基础】预备知识 | 微积分

本文讲解深度学习相关的微积分的基础知识，包括微分和积分、偏导数、梯度和链式法则。

2024-11-30 15:00:00 951 13

原创【大数据技术基础 | 实验十三】YARN实验：部署YARN集群

本实验介绍什么是YARN框架，如何搭建YARN分布式集群，并能够使用YARN集群提交一些简单的任务，理解YARN作为Hadoop生态中的资源管理器的意义。

2024-11-29 09:00:00 1860 41

原创 Francek Chen 的365天创作纪念日

Francek Chen 的365天创作纪念日，分享这段时间的收获和成长。

2024-11-28 15:00:00 960 12

原创【大数据分析 | 深度学习】在Hadoop上实现分布式深度学习

本文介绍大数据和深度学习结合之路，即在Hadoop上实现分布式深度学习。主要讲解三个框架，包括Submarine(Hadoop生态系统)，TonY(LinkedIn)和DL4J(deeplearning4j)。

2024-11-25 09:00:00 11505 76

原创【大数据技术基础 | 实验十二】Hive实验：Hive分区

本实验介绍掌握Hive分区的用法，加深对Hive分区概念的理解，了解Hive表在HDFS的存储目录结构。

2024-11-22 09:00:00 6185 48

原创【深度学习基础】预备知识 | 线性代数

本文讲解现代深度学习相关的线性代数知识，对于机器学习非常有用。包括标量、向量、矩阵、张量、降维、点积、矩阵-向量积、矩阵-矩阵乘法和范数。

2024-11-21 12:06:07 1478 9

原创【大数据分析 | 机器学习】分布式机器学习

本文主要介绍分布式机器学习基础知识，并介绍主流的分布式机器学习框架，结合实例介绍一些机器学习算法。

2024-11-18 09:00:00 2355 61

原创【深度学习基础】预备知识 | 数据预处理

本文讲解了PyTorch深度学习中基础的数据预处理操作。pandas包是Python中常用的数据分析工具中，可以与张量兼容。用pandas处理缺失的数据时，我们可根据情况选择用插值法和删除法。

2024-11-16 12:33:55 1020 16

原创【大数据技术基础 | 实验十一】Hive实验：新建Hive表

本实验介绍Hive的DDL操作，能够在Hive中新建，显示，修改和删除表等功能。

2024-11-15 09:00:00 5506 46

原创【大数据技术基础 | 实验十】Hive实验：部署Hive

本实验介绍Hive的工作原理和体系架构，学会如何进行Hive的内嵌模式部署，启动Hive，然后将元数据存储在HDFS上。

2024-11-13 09:00:00 5916 52

原创【大数据技术基础 | 实验九】Flume实验：文件数据Flume至HDFS

本实验介绍Flume的结构和安装部署，一个agent中source、sink、channel组件之间的关系，并实现实时收集本地hadoop的日志的最新信息然后将收集到日志信息以一分钟一个文件的形式写入HDFS目录中。

2024-11-11 08:00:07 2926 42

原创【鸿蒙生态崛起，开发者有哪些机遇与挑战？】HarmonyOS NEXT 引领数字化未来

鸿蒙系统不断创新发展，在智能手机、穿戴、车载、家居等行业领域的应用越来越广泛。HarmonyOS NEXT的发布标志着鸿蒙操作系统进入了全新发展阶段，揭示了在智能生态建设方面的最新成果，原生鸿蒙将为全球用户带来更加智能、互联的数字化生活。

2024-11-08 09:00:00 5541 54

原创【大数据技术基础 | 实验八】HBase实验：新建HBase表

本实验介绍HBase数据模型(逻辑模型及物理模型)，通过Java代码实现与HBase数据库连接，然后用Java API创建HBase表，向创建的表中写数据，最后将表中数据读取出来并展示。

2024-11-06 11:54:23 5696 48

原创【深度学习基础】预备知识 | 数据操作

本文讲解了PyTorch深度学习中基础的数据操作，主要接口是张量(n维数组)。它提供了各种功能，包括基本数学运算、广播、索引、切片、内存节省和转换其他Python对象。

2024-11-04 09:00:00 1408 52

原创【大数据技术基础 | 实验七】HBase实验：部署HBase

本实验介绍HBase体系架构和部署HBase的相关实验步骤。理解HBase基础简介及体系架构，掌握HBase集群安装部署及HBase Shell的常用命令，了解HBase和HDFS及Zookeeper之间的关系。

2024-11-01 09:00:00 6009 50

原创【大数据技术基础 | 实验六】ZooKeeper实验：ZooKeeper进程协作

本实验介绍ZooKeeper在分布式系统实现多线程和进程间通信。用Java代码实现两个线程，向ZooKeeper中某一目录中写入数据和读取数据，实现ZooKeeper多个线程间的协作。

2024-10-31 10:00:00 904 36

原创【机器学习-无监督学习】自编码器

本文介绍了无监督学习和深度学习中的重要模型之一——自编码器。讲解了自编码器的结构，并利用PyTorch库在手写数字数据集MNIST上实现自编码器，用自编码器提取图像的特征。

2024-10-28 09:00:00 2572 59

【机器学习&数据挖掘】离群点检测-源代码+数据集

本文首先介绍了离群点检测的相关概念和方法，接着详细讲解了离群点检测的具体方法，包括基于模型的离群点检测方法和基于聚类的离群点检测方法，最后在Sklearn中应用异常值的检测方法。该压缩包中包括离群点检测的源代码和相关数据集。

2025-01-13

【机器学习&数据挖掘】时间序列算法-源代码+数据集

本文首先介绍了常用的时间序列算法和时间序列的预处理，接着讲解平稳时间序列分析，包括AR模型、MA模型和ARMA模型，最后讲解基于ARIMA模型的非平稳时间序列分析。该数据集包括基于ARIMA模型的非平稳时间序列分析的源代码和数据集。

2024-12-31

【机器学习&数据挖掘】智能推荐算法-源代码+数据集

本文首先介绍了智能推荐的概念、应用、评价指标，然后讲解了智能推荐常见的关联规则算法，包括Apriori和FP-Growth，最后讲解常见的协同过滤推荐技术，包括基于用户的协同过滤推荐和基于物品的协同过滤推荐。该压缩包中包括关联规则挖掘算法(Apriori算法、FP-Growth算法)，协同过滤过滤推荐算法(基于用户、基于物品)，以及代码中所对应的数据集。

2024-12-28