- 博客(38)
- 资源 (3)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 机器学习-K近邻算法
K近邻算法算法思想算法模型算距离公式手写代码 学习路径链接人工智能-机器学习{基础概念} 我们就要从上篇文章中开始接触机器学习了，机器学习给很多人的感觉就是「难」，所以我们从场景带入引出机器学习的一个最简单算法：k-NN 算法（k-Nearest Neighbor），也叫 k 近邻算法。 学会 k-NN 算法，只需要三步：了解k-NN的算法思想掌握背后的数学原理（别怕，咱们初中就学过）最后用我们熟悉的Python代码实现 我们继续沿用上一篇文章的例子，其实K-NN算法，可以用
2022-08-08 11:20:32
279
1
原创 神经网络是如何进行预测的?
函数文件function [lb,ub,dim,fobj] = Get_Functions_details(F) //Get_Functions_details 为函数名switch F // Get_Functions_details函数中的F形参选择，赋值给lb,ub,dim,fobj case 'F1' fobj = @F1; lb=-100; ub=100; dim=30;
2021-09-14 21:07:16
5460
1
原创 深度学习 插值法
插值法线性插值最近邻插值如何寻找四个点 在图像几何变换时，无法给有些像素点直接赋值，例如，将图像放大两倍，必然会多出一些无法被直接映射的像素点，对于这些像素点，通过插值决定它们的值。于是，产生了图像插值算法。 插值法主要可以分为两类，一类是线性图像插值方法，另一类是非线性图像插值方法 那么在传统的插值方法如最近邻插值，双线性插值以及双三次插值等都属于线性插值方法。这类插值方法在图像插值过程中采用同一种插值内核，不用考虑待插像素点所处的位置，这种做法会使图像中的边缘变得模糊不清，达不到高清图像的视觉
2021-09-01 17:53:12
3651
原创 关联规则 Association rules
Association rules什么是关联规则定义介绍关联规则算法什么是关联规则 在数据挖掘中，最终的结果就是要大量的数据中通过算法搜索隐藏于其中信息，有点“在人群中低头找黄金”的意思，那么关联规则(Association Rules)是反映一个事物与其他事物之间的相互依存性和关联性，是数据挖掘的一个重要技术，用于从大量数据中挖掘出有价值的数据项之间的相关关系。废话太多，简单的理解就是 从数据集中寻找物品之间的隐含关系，这种关系并没有在数据中直接表示出来。定义介绍 关联规则有一个特别经典的故事：
2021-08-28 15:12:20
5514
原创 什么是神经网络？
神经网络什么是神经网络？什么是神经网络？ 其实所谓的深度学习就是在训练神经网络，所以说我们面临着一个很直观的问题——什么是神经网络呢？ 这里我们假设有6个房子的数据集(已知的是房屋面积和房屋价格)，其实这样一个简单的数据集有点类似于传说中XY轴，所以说根据数学知识，我们可以构建一个线性回归函数来预测房屋价格，我们抽象成一个非常简单的神经网络 ...
2021-08-22 22:20:22
482
原创 什么是人工智能?什么是机器学习？什么是深度学习？三连问
机器学习有监督学习无监督学习半监督学习强化学习其他 在开始学习之前，我们来感受一下，什么是机器学习 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能核心，是使计算机具有智能的根本途径。 通过定义 ，我们突然感受到 机器学习不好学，又要懂得多科数学运算，还要知道代码如何编写，甚至还要研究人类的学习学习。其实不然，我们先感受一个机器学
2021-08-01 01:45:58
1474
原创 Excel应用{数据可视化图表}
数据可视化图表比较类柱形图折线图时间序列折线图雷达图构成类饼图树状图旭日图分布，联系散点图气泡图统计类增加维度分析图动态图表 图表将复杂的数据转变成清晰的可视化效果，能直观体现数据间关系比较类：柱形图、条形图、折线图、雷达图构成类：饼图、树状图、旭日图分布、联系：散点图、气泡图统计类：直方图、箱型图比较类柱形图 折线图
2021-07-26 16:02:11
184
原创 Excel应用{数据透视表}
透视表创建数据透视表创建组汇总依据添加分类计算字段切片器动态的数据透视表 数据透视表是交互式的汇总和分析数据的工具，简单来说就是把明细表进行分类汇总的过程，可以使用户通过简单的拖拽操作，完成复杂的数据分类汇总，可以说是Excel中最实用、最常用的功能。所谓“透视”，即从数据背后找到联系，从而将看似杂乱的数据转化为有价值的信息。创建数据透视表 创建组
2021-07-26 15:43:00
71
原创 Python-数据可视化案例
拉勾网数据清洗及统计分析第一步: 批量处理数据第二步：合并数据第三步：简单了解数据进一步处理数据第四步：数据统计分析分组统计 文件下载： 用于博客系列文章pandans的学习文件.zipimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt第一步: 批量处理数据 面临的是一个和之前不一样的情况，有好多个文件要操作.查看数据的样子批量读取文件, os模块,获取文件列表for循环依次读取,当你有
2021-07-23 20:51:47
1055
原创 Python-Matplotlib{数据可视化}
Matplotlib基本配置导入Matplotlib库绘制图绘制折线图查看都有什么风格style折线图使用小练习优化图片添加常见图例属性小练习一个图中画多条线其他各种图像柱状图DataFrame数据画柱状图直方图散点图 画图的复杂度比较高。自由度比较高基本配置导入Matplotlib库import numpy as npimport pandas as pdimport matplotlib.pyplot as plt # matplotlib的子包有很多，这里我们只导入常用的包pyplot
2021-07-22 21:27:34
406
原创 Python-pandas{数据分组}
数据分组数据分组 其实这种数据分组与SQL中的Group by语句的功能是一样的。 实际上,我们可以把 groupby 理解成一个分割(split),应用(apply),组合(combine)的过程 一个经典分割-应用-组合操作如下图所示,其中应用的是一个求和函数.分割: 将 DataFrame按照指定的键分割成若干组应用: 对每个组应用函数, 通常是累计,转换或过滤函数组合: 将每一组的结果合并成一个输出组数据分组 在数据处理中, 我们经常需要把某些特征的共同值进行累计分析
2021-07-21 20:28:55
546
1
原创 Python-pandas{文本数据处理}
文本数据处理文本数据处理str属性插入内容wine数据练习题高级方法其他方法练习哑变量 博客文章内需要的文件： 文件 &emsop;学习之前先导入3个样本，都在上方的链接里import numpy as npimport pandas as pdgrade = pd.read_csv("student_grade.txt",sep='\t')wine = pd.read_csv("wine.csv",sep=',')imdb = pd.read_csv('imdb_1000.cs
2021-07-21 19:35:13
579
原创 Python-pandas{缺失值处理}
缺失值处理缺失值寻找空值数据统计空缺值丢弃缺失值填充缺失值固定值填充 博客文章内需要的文件： 文件 大家在学习这一部分后，下载文件后，先将文件导入import numpy as npimport pandas as pdgrade = pd.read_csv('student_grade_empty.txt',sep='\t')grade缺失值 什么是缺失值 在了解缺失值（也叫控制）如何处理之前，首先要知道的就是什么是缺失值？直观上理解，缺失值表示的是“缺失的数据”。
2021-07-21 00:13:05
811
1
原创 Python-Pandas{描述与统计功能}
描述与统计功能描述与统计描述与统计 有时候我们获取到数据之后，想要查看下数据的简单统计指标（最大值、最小值、平均值、中位数等），比如想要查看年龄的最大值，如何实现呢？直接对 age 这一列调用 max方法即可。...
2021-07-20 22:18:22
898
4
原创 Python-Pandas{数据结构与基本功能}
PandsSeries手动构建SeriesSeries的索引和切片按照字典的方式进行索引和切片 Pandas通常是用于数据分析过程中, 数据的清洗, 数据预处理, 数据的描述性分析等过程中。在整个Python数据分析的生态环境中, Pandas的地位非常重要, 利用Pandas可以快速便捷的对数据进行各种各样的处理与操作. 在Pandas中, 最重要的两种数据结构是1维的Series和2维的DataFrame.Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数
2021-07-19 22:37:18
655
原创 Python-Numpy
Numpyndarray构建ndarray数据类型ndarray 与 python 原生 array 有什么区别Numpy 的矢量化（向量化）功能小练习创建常用的数组创建一个全0数组全1数组单位矩阵对角矩阵设定具体的值设置空值和无穷大随机数组正态分布随机数其他分布设置随机数种子创建一个线性序列的数组小练习ndarray常用属性数组的索引和切片单个元素索引高维数组索引修改某一个元素值试图浅复制改为创建副本(深复制)小练习:数组的变形改变数组的形状拉伸成一维数组(数组的平铺)转置 Numpy (Pandas
2021-07-15 20:55:46
321
原创 python基础篇{面向对象}
面向对象概念理解面向过程面向对象概念简述面向对象面向对象的概念创建类类的实例化属性的引用类属性的操作类的方法类的方法的参数概念理解 就目前来说，程序员们有两种代码思维：面向过程和面向对象面向过程 从字面上理解，我们不难理解，面向过程其实就是针对问题的解决步骤来实现代码逻辑。我们把最终的代码实现结果想象成一个问题的解，我们要去解决一个问题,我们会将这个问题拆分成一个一个的过程,然后依次执行。 比如说：吃饺子这个问题，我们可以这个问题划分成以下6步进行。菜市场买材料洗菜,切菜,剁馅和面,
2021-07-12 01:22:14
330
原创 数据分析之MySql篇{电商数据处理案例}
电商数据处理案例目标需求：将某电商脱敏后数据导入数据库进行加工处理，使用加工好的数据分析业务问题数据获取 · 客户相关：UserInfo.csv:用户主表、RegionInfo.csv:区域表、UserAddress.csv:用户地址表 · 商品相关：GoodsInfo.csv:商品主表、GoodsBrand.csv:商品品牌表、GoodsColor.csv:商品颜色表、GoodsSize.csv:商品尺码 · 订单相关文件：OrderInfo.csv:订单主表、OrderDeta
2021-07-10 01:00:38
688
原创 python基础篇{Pymysql}
Pymysql连接数据库建立光标，执行sql语句建立数据库建立表格插入数据执行事务查询数据练习题 假设你已经（或者有能力）获取大量数据（通过爬取），那么选择何种方式去存储数据非常重要 一般而言就爬虫问题，我们可以选择：文本文件的形式保存（比如csv） - 优势：方便，随时使用，不需要第三方的支持 - 劣势：健壮性差，扩展性差数据库 - 优势：良好的扩展性，使用广泛 - 劣势：对技术有一定要求Pymysql 安装：Python配合MySQL,我们使用pymysql进行操
2021-07-08 23:13:32
323
原创 python基础篇{文件操作}
文件操作打开文件文件的读写打开文件 在python，使用open函数，可以打开一个已经存在的文件，或者创建一个新文件open(文件名，访问模式) 访问模式访问模式说明r以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。w打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。a打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写
2021-07-06 19:07:15
211
原创 数据分析之MySql篇{练习题}
-- 创建数据库schoolcreate database school;-- 选择进入school数据库use school;-- ------------建表导数--------------- 创建stucreate table stu(s_id varchar(10) primary key,s_name varchar(10) not null,s_birth date,s_sex varchar(10));-- 导入数据insert into stu values
2021-07-06 03:04:39
242
原创 数据分析之MySql篇{常用函数}
常用函数字符串函数数学函数时期时间函数分组合并函数逻辑函数字符串函数 CONCAT(str1,str2,…) 把多个文本字符串合并成一个长字符串()，除NULL外mysql> select concat('CDA','数据', '分析'); +------------------------------+ | concat('CDA','数据', '分析') | +------------------------------+ | CDA数据分析 | +----------
2021-07-04 02:33:01
529
原创 数据分析之MySql篇{数据查询语言DQL}
数据查询语言DQLSQL语句书写SQL语句书写顺序select 语句执行顺序单表查询分组查询聚合函数多表查询连接方式内连接左连接右连接联合查询子查询SQL语句书写SQL语句书写顺序子句顺序说明是否必须使用SELECT要返回的列或表达式是FROM从中检索数据的表或视图仅从中检索数据时使用WHERE行级过滤仅对记录进行筛选时使用GROUP BY分组字段仅在分组聚合运算时使用HAVING组级过滤仅对分组进行筛选时使用ORDER BY输
2021-07-03 00:33:01
240
原创 数据分析之MySql篇{数据库基础概念}
数据库基础概念数据库表结构数据数据库 按照一定的数据结构来组织、存储和管理数据的仓库。 企业数据存储面临的问题 • 存储大量数据,，这样的大数据并不是Excel可以处理的数据。 • 大量数据的检索和访问 • 保证数据信息的一致和完整 • 数据共享和安全 数据库分类关系型数据库：以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。非关系型数据库分类Examples举例典型应用场景数据模型优点缺点
2021-07-01 15:22:18
330
2
原创 数据分析之MySql篇{数据定义DDL与数据操作DML}
数据定义DDL与数据操作DML数据定义DDL数据库的增删选查数据表的增删改查约束条件主键约束(primary key)唯一约束(unique)自动增长列(auto_increment)非空约束(not null)默认约束(default)外键约束(foreign key)修改数据表数据操作语言DML插入数据更新数据删除数据数据定义DDL数据库的增删选查查看数据库：show databases;创建数据库：create database 数据库名称; 数据库名称不能与SQL关键字相同，也不能
2021-07-01 15:21:57
192
原创 python基础篇{模块}
模块importfrom…import 语句as常用模块datetime时间模块time时间模块 在Python中有一个概念叫做模块（module），这个和C语言中的头文件以及Java中的包很类似，比如在Python中要调用sqrt函数，必须用import关键字引入math这个模块，下面就来了解一下Python中的模块。 说的通俗点：模块就好比是工具包，要想使用这个工具包中的工具(就好比函数)，就需要导入这个模块Python 模块(Module)，是一个 Python 文件，以 .py 结尾
2021-06-29 15:07:37
297
原创 python基础篇{函数}
函数常用内置函数数据类型相关数学相关其他逻辑判断相关序列相关函数函数调用return函数参数全局变量与局部变量练习常用内置函数 全部的内置函数在这个连接,有一些平时很少会用到,我们只讲一些常用的. 内置函数数据类型相关type()：函数如果你只有第一个参数则返回对象的类型，三个参数返回新的类型对象。int()：int() 函数用于将一个字符串或数字转换为整型。float() ：float() 函数用于将整数和字符串转换成浮点数。str() ：str() 函数将对象转化为适于人阅读
2021-06-28 22:59:51
197
4
原创 python基础篇{控制流语句}
控制流语句条件控制单条件判断多条件判断练习循环控制while语句for语句range函数练习break 和 continue 语句及循环中的 else 子句break语句continue条件控制 计算机之所以能做很多自动化的任务，因为它可以自己做条件判断。单条件判断 &esmp;只要看到if关键词了 , 就是进入条件语句 ，如果条件语句为Ture，则进入分支语句，条件后面要使用冒号 : 表示接下来是满足条件后要执行的语句块 其中使用缩进来划分语句块，相同缩进数的语句在一起组成一个语句块。
2021-06-28 02:51:49
466
原创 python基础篇{数据类型}
python基础数据类型数字类型练习题字符串练习题输入和输出功能二级目录三级目录 这里主要是写python常用的基础知识，不会面面俱到，这里介绍一个网站菜鸟教程可以帮助同学们迅速打好基础数据类型 Python3 中有六个标准的数据类型：Number（数字）String（字符串）List（列表）Tuple（元组）Set（集合）Dictionary（字典） Python3 的六个标准数据类型中： 不可变数据（3 个）：Number（数字）、String（字符串）、Tuple（
2021-06-26 03:16:04
1854
原创 python基础篇{基础语法}
基础语法输入和输出功能练习题变量Python的代码块注释多行语句import 与 from...import输入和输出功能 print和inputprint：输出语句 print是打印的意思,在这里指的是向屏幕上输出指定的文字print 可以打印单个值,也可以打印多个值,还可以设置以什么字符作为多个值之间的分隔.print("hello world") 运行结果：hello worldprint('='*38)print('姓名','')print('QQ：','x'*9)pri
2021-06-24 18:11:34
240
原创 Excel应用{数据加工与公式函数}
Excel基础应用常用函数条件计算累计数据条件求和条件格式业务数据分析的必备技能就是Excel，其实是一个入门级的技能，虽然说在数据分析的发展阶段中，慢慢Excel的作用慢慢的减退，更多的是算法，python代码能力。但是，Excel是业务面里的必须要掌握的职业技能，其实说到底还是那一句话，不懂业务的程序员不是一个好的程序员。常用函数条件计算累计数据条件求和条件格式...
2021-06-03 21:25:41
605
原创 粒子群PSO优化算法Matlab代码详解
PSO算法代码详解前期文章介绍了PSO算法的基本原理，来帮助同学们去了解PSO算法的流程。因为篇幅的问题呢，就没有在前期文章附上代码详解，为了弥补遗憾，我把代码解释作为独立的一篇博客发表，方便不同需求的同学们来交流学习。 前期文章链接：进化算法之粒子群算法介绍附代码——PSO一元函数的优化%% I. 清空环境clcclear all //基本的，必有的操作。背下来 %% II. 绘制目标函数曲线图x = 1:0.01:2; /* 因为是函数，y值在是x的范围内求解最大值的
2021-05-23 00:05:42
11245
19
原创 进化算法之粒子群算法介绍附代码——PSO
粒子群算法PSO背景介绍算法介绍鸟群觅食算法&鸟群背景介绍算法介绍 粒子群算法，英文全称为Partricle Swarm Optimization，所以简称为PSO算法，它是基于迭代的进化算法，也就是说下一个结果是基于上一个结果所传递的信息，并更新后的结果。PSO算法是基于鸟群觅食的行为所提出来的算法。所以在了解PSO算法需要了解鸟群是如何觅食的。鸟群觅食 故事一： 假设有若干个食物分别藏在一片大森林中，此时有一群鸟想要去寻找这些食物，可是他们并不知道食物的具体位置，但是他们
2021-05-16 22:35:34
4635
2
原创 数据分析 第一阶段-业务数据分析
文章目录业务数据分析一、数据分析项目参与角色二、数据分析流程三、围绕数据分析师的三大类工作内容案例综合思考案例：案例应用业务数据分析描述性分析：基于历史已发生的客观事实，利用数据进行阐述数据透视：对数据的分类汇总可视化图表：数据量过大，使用图表的方式来说明数据的问题一、数据分析项目参与角色业务人员：提出业务需求、检验分析结果的准确性、 使用分析结果指导业务工作 业务人员数据分析师：零碎工具辅助、提取数据、制作分析报告、制作可视化看板，汇报分析结果IT技术人员：搭建并维护分析平台、
2021-05-03 16:01:00
407
原创 数据分析 开篇之学习路线
数据分析 开篇之学习路线首先，本人做一下自我介绍，目前就职于某知名大厂的NLP模型训练师，也是一名非全研究生在读学生，导师是国内计算机领域排名第15名的潘正祥教授（Guide2Research可查），研究方向是优化算法方向。其次数据挖掘也是我感兴趣的方向，之后会在CSDN上不定期发表自己的学习心得，大多是干货，但是更多的希望和大家一起探讨学习。话不多说 ，我说一下数据挖掘和数据分析的关系，我认为数据分析和数据挖掘是一个拔高的过程。本身我们所处在的大数据时代，可以理解的是，我们每天其实是直接或者间接的接
2021-05-03 00:01:53
215
python爬虫代码出现报错
2021-06-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人