- 博客(43)
- 资源 (3)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 数据分析——Python网络爬虫(四){爬虫库的使用}
爬虫库爬虫的步骤urllib库发送请求两种方法案例爬虫的步骤#mermaid-svg-pSocXW5lAENZqcCH .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-pSocXW5lAENZqcCH .label text{fill:#333}#mermaid-svg-pSocXW5lAENZqcCH .n
2024-07-12 17:26:49
1093
1
原创 数据分析——Python网络爬虫(四){正则表达式}
爬虫库的使用爬虫的步骤正则表达式正则表达式的流程正则表达式的使用括号的使用管道匹配问号匹配星号匹配加号匹配花括号匹配用点-星匹配所有字符跨行匹配findall方法其他常用字符匹配例子正则表达式在线测试爬虫的步骤#mermaid-svg-GHHgvCa5dI1TM3wb .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-
2024-07-12 17:26:41
820
1
原创 数据分析——Python网络爬虫(三){爬虫基本原理}
爬虫基本原理爬虫基本流程拉取什么数据JavaScript渲染页面cookies爬虫代理检查robots.txt爬虫的攻与防爬虫基本流程 • 获取网页源代码：通过库来实现，urllib，requests等实现http请求 • 提取信息：分析网页源代码，提取数据，如正则表达式，beautiful soup，pyquery，lxml等 • 保存数据：保存为txt，json或数据库拉取什么数据 • Html代码 • Json字符串（api接口，手机端大部分是这种数据格式）
2024-07-12 17:26:31
325
1
原创 数据分析——Python网络爬虫(二){Http基本原理}
Http基本原理URL超文本Http原理http请求流程请求请求方法请求头请求体响应响应码响应头响应体URL URL(Uniform Resource Locator)，即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它超文本 超文本：hypertext，浏览器里面看到的网页就是超文本解析而成， 其网页源代码是
2024-07-12 17:26:23
731
1
原创 数据分析——Python网络爬虫(一){爬虫基础概念}
Python网络爬虫爬虫基础概念网络爬虫定义网络爬虫用途网络爬虫分类通用搜索引擎工作原理通用搜索引擎工作原理步骤通用搜索引擎工作原理局限聚焦爬虫聚焦爬虫流程聚焦爬虫与通用爬虫的比较网络爬虫的搜索策略基于IP地址搜索策略广度优先深度优先最佳优先爬虫基础概念网络爬虫定义 网络爬虫（Crawler）又被称为网页蜘蛛（Spider），网络机器人，网页追逐者，它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。狭义上来讲就是指遵循标准的http协议，利用超链接和Web文档检索方法遍历万维网的软件程序
2024-07-12 17:25:40
762
1
原创 机器学习-K近邻算法
K近邻算法算法思想算法模型算距离公式手写代码 学习路径链接人工智能-机器学习{基础概念} 我们就要从上篇文章中开始接触机器学习了，机器学习给很多人的感觉就是「难」，所以我们从场景带入引出机器学习的一个最简单算法：k-NN 算法（k-Nearest Neighbor），也叫 k 近邻算法。 学会 k-NN 算法，只需要三步：了解k-NN的算法思想掌握背后的数学原理（别怕，咱们初中就学过）最后用我们熟悉的Python代码实现 我们继续沿用上一篇文章的例子，其实K-NN算法，可以用
2022-08-08 11:20:32
282
1
原创 神经网络是如何进行预测的?
函数文件function [lb,ub,dim,fobj] = Get_Functions_details(F) //Get_Functions_details 为函数名switch F // Get_Functions_details函数中的F形参选择，赋值给lb,ub,dim,fobj case 'F1' fobj = @F1; lb=-100; ub=100; dim=30;
2021-09-14 21:07:16
5509
1
原创 深度学习 插值法
插值法线性插值最近邻插值如何寻找四个点 在图像几何变换时，无法给有些像素点直接赋值，例如，将图像放大两倍，必然会多出一些无法被直接映射的像素点，对于这些像素点，通过插值决定它们的值。于是，产生了图像插值算法。 插值法主要可以分为两类，一类是线性图像插值方法，另一类是非线性图像插值方法 那么在传统的插值方法如最近邻插值，双线性插值以及双三次插值等都属于线性插值方法。这类插值方法在图像插值过程中采用同一种插值内核，不用考虑待插像素点所处的位置，这种做法会使图像中的边缘变得模糊不清，达不到高清图像的视觉
2021-09-01 17:53:12
3712
原创 关联规则 Association rules
Association rules什么是关联规则定义介绍关联规则算法什么是关联规则 在数据挖掘中，最终的结果就是要大量的数据中通过算法搜索隐藏于其中信息，有点“在人群中低头找黄金”的意思，那么关联规则(Association Rules)是反映一个事物与其他事物之间的相互依存性和关联性，是数据挖掘的一个重要技术，用于从大量数据中挖掘出有价值的数据项之间的相关关系。废话太多，简单的理解就是 从数据集中寻找物品之间的隐含关系，这种关系并没有在数据中直接表示出来。定义介绍 关联规则有一个特别经典的故事：
2021-08-28 15:12:20
5626
原创 什么是神经网络？
神经网络什么是神经网络？什么是神经网络？ 其实所谓的深度学习就是在训练神经网络，所以说我们面临着一个很直观的问题——什么是神经网络呢？ 这里我们假设有6个房子的数据集(已知的是房屋面积和房屋价格)，其实这样一个简单的数据集有点类似于传说中XY轴，所以说根据数学知识，我们可以构建一个线性回归函数来预测房屋价格，我们抽象成一个非常简单的神经网络 ...
2021-08-22 22:20:22
489
原创 什么是人工智能?什么是机器学习？什么是深度学习？三连问
机器学习有监督学习无监督学习半监督学习强化学习其他 在开始学习之前，我们来感受一下，什么是机器学习 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能核心，是使计算机具有智能的根本途径。 通过定义 ，我们突然感受到 机器学习不好学，又要懂得多科数学运算，还要知道代码如何编写，甚至还要研究人类的学习学习。其实不然，我们先感受一个机器学
2021-08-01 01:45:58
1477
原创 Excel应用{数据可视化图表}
数据可视化图表比较类柱形图折线图时间序列折线图雷达图构成类饼图树状图旭日图分布，联系散点图气泡图统计类增加维度分析图动态图表 图表将复杂的数据转变成清晰的可视化效果，能直观体现数据间关系比较类：柱形图、条形图、折线图、雷达图构成类：饼图、树状图、旭日图分布、联系：散点图、气泡图统计类：直方图、箱型图比较类柱形图 折线图
2021-07-26 16:02:11
185
原创 Excel应用{数据透视表}
透视表创建数据透视表创建组汇总依据添加分类计算字段切片器动态的数据透视表 数据透视表是交互式的汇总和分析数据的工具，简单来说就是把明细表进行分类汇总的过程，可以使用户通过简单的拖拽操作，完成复杂的数据分类汇总，可以说是Excel中最实用、最常用的功能。所谓“透视”，即从数据背后找到联系，从而将看似杂乱的数据转化为有价值的信息。创建数据透视表 创建组
2021-07-26 15:43:00
73
原创 Python-数据可视化案例
拉勾网数据清洗及统计分析第一步: 批量处理数据第二步：合并数据第三步：简单了解数据进一步处理数据第四步：数据统计分析分组统计 文件下载： 用于博客系列文章pandans的学习文件.zipimport numpy as npimport pandas as pdimport matplotlib.pyplot as plt第一步: 批量处理数据 面临的是一个和之前不一样的情况，有好多个文件要操作.查看数据的样子批量读取文件, os模块,获取文件列表for循环依次读取,当你有
2021-07-23 20:51:47
1057
原创 Python-Matplotlib{数据可视化}
Matplotlib基本配置导入Matplotlib库绘制图绘制折线图查看都有什么风格style折线图使用小练习优化图片添加常见图例属性小练习一个图中画多条线其他各种图像柱状图DataFrame数据画柱状图直方图散点图 画图的复杂度比较高。自由度比较高基本配置导入Matplotlib库import numpy as npimport pandas as pdimport matplotlib.pyplot as plt # matplotlib的子包有很多，这里我们只导入常用的包pyplot
2021-07-22 21:27:34
418
原创 Python-pandas{数据分组}
数据分组数据分组 其实这种数据分组与SQL中的Group by语句的功能是一样的。 实际上,我们可以把 groupby 理解成一个分割(split),应用(apply),组合(combine)的过程 一个经典分割-应用-组合操作如下图所示,其中应用的是一个求和函数.分割: 将 DataFrame按照指定的键分割成若干组应用: 对每个组应用函数, 通常是累计,转换或过滤函数组合: 将每一组的结果合并成一个输出组数据分组 在数据处理中, 我们经常需要把某些特征的共同值进行累计分析
2021-07-21 20:28:55
547
1
原创 Python-pandas{文本数据处理}
文本数据处理文本数据处理str属性插入内容wine数据练习题高级方法其他方法练习哑变量 博客文章内需要的文件： 文件 &emsop;学习之前先导入3个样本，都在上方的链接里import numpy as npimport pandas as pdgrade = pd.read_csv("student_grade.txt",sep='\t')wine = pd.read_csv("wine.csv",sep=',')imdb = pd.read_csv('imdb_1000.cs
2021-07-21 19:35:13
589
原创 Python-pandas{缺失值处理}
缺失值处理缺失值寻找空值数据统计空缺值丢弃缺失值填充缺失值固定值填充 博客文章内需要的文件： 文件 大家在学习这一部分后，下载文件后，先将文件导入import numpy as npimport pandas as pdgrade = pd.read_csv('student_grade_empty.txt',sep='\t')grade缺失值 什么是缺失值 在了解缺失值（也叫控制）如何处理之前，首先要知道的就是什么是缺失值？直观上理解，缺失值表示的是“缺失的数据”。
2021-07-21 00:13:05
811
1
原创 Python-Pandas{描述与统计功能}
描述与统计功能描述与统计描述与统计 有时候我们获取到数据之后，想要查看下数据的简单统计指标（最大值、最小值、平均值、中位数等），比如想要查看年龄的最大值，如何实现呢？直接对 age 这一列调用 max方法即可。...
2021-07-20 22:18:22
899
4
原创 Python-Pandas{数据结构与基本功能}
PandsSeries手动构建SeriesSeries的索引和切片按照字典的方式进行索引和切片 Pandas通常是用于数据分析过程中, 数据的清洗, 数据预处理, 数据的描述性分析等过程中。在整个Python数据分析的生态环境中, Pandas的地位非常重要, 利用Pandas可以快速便捷的对数据进行各种各样的处理与操作. 在Pandas中, 最重要的两种数据结构是1维的Series和2维的DataFrame.Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数
2021-07-19 22:37:18
656
原创 Python-Numpy
Numpyndarray构建ndarray数据类型ndarray 与 python 原生 array 有什么区别Numpy 的矢量化（向量化）功能小练习创建常用的数组创建一个全0数组全1数组单位矩阵对角矩阵设定具体的值设置空值和无穷大随机数组正态分布随机数其他分布设置随机数种子创建一个线性序列的数组小练习ndarray常用属性数组的索引和切片单个元素索引高维数组索引修改某一个元素值试图浅复制改为创建副本(深复制)小练习:数组的变形改变数组的形状拉伸成一维数组(数组的平铺)转置 Numpy (Pandas
2021-07-15 20:55:46
324
原创 python基础篇{面向对象}
面向对象概念理解面向过程面向对象概念简述面向对象面向对象的概念创建类类的实例化属性的引用类属性的操作类的方法类的方法的参数概念理解 就目前来说，程序员们有两种代码思维：面向过程和面向对象面向过程 从字面上理解，我们不难理解，面向过程其实就是针对问题的解决步骤来实现代码逻辑。我们把最终的代码实现结果想象成一个问题的解，我们要去解决一个问题,我们会将这个问题拆分成一个一个的过程,然后依次执行。 比如说：吃饺子这个问题，我们可以这个问题划分成以下6步进行。菜市场买材料洗菜,切菜,剁馅和面,
2021-07-12 01:22:14
333
原创 数据分析之MySql篇{电商数据处理案例}
电商数据处理案例目标需求：将某电商脱敏后数据导入数据库进行加工处理，使用加工好的数据分析业务问题数据获取 · 客户相关：UserInfo.csv:用户主表、RegionInfo.csv:区域表、UserAddress.csv:用户地址表 · 商品相关：GoodsInfo.csv:商品主表、GoodsBrand.csv:商品品牌表、GoodsColor.csv:商品颜色表、GoodsSize.csv:商品尺码 · 订单相关文件：OrderInfo.csv:订单主表、OrderDeta
2021-07-10 01:00:38
693
原创 python基础篇{Pymysql}
Pymysql连接数据库建立光标，执行sql语句建立数据库建立表格插入数据执行事务查询数据练习题 假设你已经（或者有能力）获取大量数据（通过爬取），那么选择何种方式去存储数据非常重要 一般而言就爬虫问题，我们可以选择：文本文件的形式保存（比如csv） - 优势：方便，随时使用，不需要第三方的支持 - 劣势：健壮性差，扩展性差数据库 - 优势：良好的扩展性，使用广泛 - 劣势：对技术有一定要求Pymysql 安装：Python配合MySQL,我们使用pymysql进行操
2021-07-08 23:13:32
323
原创 python基础篇{文件操作}
文件操作打开文件文件的读写打开文件 在python，使用open函数，可以打开一个已经存在的文件，或者创建一个新文件open(文件名，访问模式) 访问模式访问模式说明r以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。w打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。a打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写
2021-07-06 19:07:15
213
原创 数据分析之MySql篇{练习题}
-- 创建数据库schoolcreate database school;-- 选择进入school数据库use school;-- ------------建表导数--------------- 创建stucreate table stu(s_id varchar(10) primary key,s_name varchar(10) not null,s_birth date,s_sex varchar(10));-- 导入数据insert into stu values
2021-07-06 03:04:39
244
原创 数据分析之MySql篇{常用函数}
常用函数字符串函数数学函数时期时间函数分组合并函数逻辑函数字符串函数 CONCAT(str1,str2,…) 把多个文本字符串合并成一个长字符串()，除NULL外mysql> select concat('CDA','数据', '分析'); +------------------------------+ | concat('CDA','数据', '分析') | +------------------------------+ | CDA数据分析 | +----------
2021-07-04 02:33:01
533
原创 数据分析之MySql篇{数据查询语言DQL}
数据查询语言DQLSQL语句书写SQL语句书写顺序select 语句执行顺序单表查询分组查询聚合函数多表查询连接方式内连接左连接右连接联合查询子查询SQL语句书写SQL语句书写顺序子句顺序说明是否必须使用SELECT要返回的列或表达式是FROM从中检索数据的表或视图仅从中检索数据时使用WHERE行级过滤仅对记录进行筛选时使用GROUP BY分组字段仅在分组聚合运算时使用HAVING组级过滤仅对分组进行筛选时使用ORDER BY输
2021-07-03 00:33:01
240
原创 数据分析之MySql篇{数据库基础概念}
数据库基础概念数据库表结构数据数据库 按照一定的数据结构来组织、存储和管理数据的仓库。 企业数据存储面临的问题 • 存储大量数据,，这样的大数据并不是Excel可以处理的数据。 • 大量数据的检索和访问 • 保证数据信息的一致和完整 • 数据共享和安全 数据库分类关系型数据库：以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。非关系型数据库分类Examples举例典型应用场景数据模型优点缺点
2021-07-01 15:22:18
331
2
原创 数据分析之MySql篇{数据定义DDL与数据操作DML}
数据定义DDL与数据操作DML数据定义DDL数据库的增删选查数据表的增删改查约束条件主键约束(primary key)唯一约束(unique)自动增长列(auto_increment)非空约束(not null)默认约束(default)外键约束(foreign key)修改数据表数据操作语言DML插入数据更新数据删除数据数据定义DDL数据库的增删选查查看数据库：show databases;创建数据库：create database 数据库名称; 数据库名称不能与SQL关键字相同，也不能
2021-07-01 15:21:57
193
原创 python基础篇{模块}
模块importfrom…import 语句as常用模块datetime时间模块time时间模块 在Python中有一个概念叫做模块（module），这个和C语言中的头文件以及Java中的包很类似，比如在Python中要调用sqrt函数，必须用import关键字引入math这个模块，下面就来了解一下Python中的模块。 说的通俗点：模块就好比是工具包，要想使用这个工具包中的工具(就好比函数)，就需要导入这个模块Python 模块(Module)，是一个 Python 文件，以 .py 结尾
2021-06-29 15:07:37
298
原创 python基础篇{函数}
函数常用内置函数数据类型相关数学相关其他逻辑判断相关序列相关函数函数调用return函数参数全局变量与局部变量练习常用内置函数 全部的内置函数在这个连接,有一些平时很少会用到,我们只讲一些常用的. 内置函数数据类型相关type()：函数如果你只有第一个参数则返回对象的类型，三个参数返回新的类型对象。int()：int() 函数用于将一个字符串或数字转换为整型。float() ：float() 函数用于将整数和字符串转换成浮点数。str() ：str() 函数将对象转化为适于人阅读
2021-06-28 22:59:51
200
4
原创 python基础篇{控制流语句}
控制流语句条件控制单条件判断多条件判断练习循环控制while语句for语句range函数练习break 和 continue 语句及循环中的 else 子句break语句continue条件控制 计算机之所以能做很多自动化的任务，因为它可以自己做条件判断。单条件判断 &esmp;只要看到if关键词了 , 就是进入条件语句 ，如果条件语句为Ture，则进入分支语句，条件后面要使用冒号 : 表示接下来是满足条件后要执行的语句块 其中使用缩进来划分语句块，相同缩进数的语句在一起组成一个语句块。
2021-06-28 02:51:49
474
原创 python基础篇{数据类型}
python基础数据类型数字类型练习题字符串练习题输入和输出功能二级目录三级目录 这里主要是写python常用的基础知识，不会面面俱到，这里介绍一个网站菜鸟教程可以帮助同学们迅速打好基础数据类型 Python3 中有六个标准的数据类型：Number（数字）String（字符串）List（列表）Tuple（元组）Set（集合）Dictionary（字典） Python3 的六个标准数据类型中： 不可变数据（3 个）：Number（数字）、String（字符串）、Tuple（
2021-06-26 03:16:04
1865
原创 python基础篇{基础语法}
基础语法输入和输出功能练习题变量Python的代码块注释多行语句import 与 from...import输入和输出功能 print和inputprint：输出语句 print是打印的意思,在这里指的是向屏幕上输出指定的文字print 可以打印单个值,也可以打印多个值,还可以设置以什么字符作为多个值之间的分隔.print("hello world") 运行结果：hello worldprint('='*38)print('姓名','')print('QQ：','x'*9)pri
2021-06-24 18:11:34
244
原创 Excel应用{数据加工与公式函数}
Excel基础应用常用函数条件计算累计数据条件求和条件格式业务数据分析的必备技能就是Excel，其实是一个入门级的技能，虽然说在数据分析的发展阶段中，慢慢Excel的作用慢慢的减退，更多的是算法，python代码能力。但是，Excel是业务面里的必须要掌握的职业技能，其实说到底还是那一句话，不懂业务的程序员不是一个好的程序员。常用函数条件计算累计数据条件求和条件格式...
2021-06-03 21:25:41
607
原创 粒子群PSO优化算法Matlab代码详解
PSO算法代码详解前期文章介绍了PSO算法的基本原理，来帮助同学们去了解PSO算法的流程。因为篇幅的问题呢，就没有在前期文章附上代码详解，为了弥补遗憾，我把代码解释作为独立的一篇博客发表，方便不同需求的同学们来交流学习。 前期文章链接：进化算法之粒子群算法介绍附代码——PSO一元函数的优化%% I. 清空环境clcclear all //基本的，必有的操作。背下来 %% II. 绘制目标函数曲线图x = 1:0.01:2; /* 因为是函数，y值在是x的范围内求解最大值的
2021-05-23 00:05:42
11355
19
python爬虫代码出现报错
2021-06-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人