- 博客(75)
- 收藏
- 关注
RSS订阅原创 重新认识path之中的路径
重新认识path之中的路径背景关于OS模块关于os.path总结背景在一个项目中，需要获取上一层文件地址。结构如下：即想在dtl2.py中读取到datas文件夹下面的csv数据。之前的代码如下：cwd = os.getcwd()dirname = os.path.dirname(cwd)## 构建数据路径data_abs_path = 'datas\双十一淘宝美妆数据.csv'data_path = os.path.join(dirname, data_abs_path)print(d
2022-02-20 14:58:05
647
原创 以pie谈pyecharts的使用介绍
pyecharts的使用介绍介绍Pie图全局配置系列配置关于formatter的abcd等参数主题风格Faker数据集一些问题pyecharts中怎么显示整数？浮点数？？pycharts中x轴显示不全？小tips介绍软件功能：生成Echarts图表的类库。实际上就是 Echarts 与 Python 的对接。Echarts图表是百度开源的一个数据可视化 JS 库，主要用于数据可视化。使用 pyecharts 可以生成独立的网页，也可以在 flask , Django 中集成使用。特性：简洁的 AP
2022-02-12 23:08:01
1422
原创 pandas查漏知识点
pandas查漏知识点关于ps.read_sql()返回值重新认识replace函数字符串中的replacepandas中的replacepandas中str.replace关于pandas中的数据类型关于ps.read_sql()返回值在连接sql后，读取数据后，对返回值进行处理时，想获取数值，但是始终不对。经过仔细查看，自己忘记了ps.read_sql()和sql.read_csv()函数返回值类型是pandas.core.frame.DataFrame类型的了。可以直接利用该类型的特性，colu
2022-02-12 23:07:44
866
原创 sql知识查漏
sql知识查漏查看某列非空值个数sql中过滤数值，等于，大于等查看某列非空值个数方法1：select count(列名) from 表名where 列名 is not null;方法2:select sum(case when 列名 is not null then 1 else 0 end)from 表名;方法3:在重点看了count()函数后，发现select count(列名) from 表名;直接返回不计null的个数。补充 sql count()函数# COUN
2022-02-12 23:07:22
262
原创 环境配置问题记录
环境配置问题记录1. pycharm安装pyecharts时失败，报错Solving environment: failed with initial frozen solve.1. pycharm安装pyecharts时失败，报错Solving environment: failed with initial frozen solve.环境说明：pycharm用的conda的环境。网上查找了解决方法，很多解决方法都是更新conda版本；但是我安装的conda已经是最新版本了，不存在这样的问题。第二个
2022-02-07 11:38:13
526
原创 数据分析步骤总结
数据分析步骤总结1. 数据采集2. 数据存储3. 数据提取4. 数据挖掘5. 数据分析6. 数据展现7. 数据应用1. 数据采集了解数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题；同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。2. 数据存储数据存储系统是MySql、Oracle、SQL Server还是其他系统。数据仓
2022-02-07 11:24:39
244
原创 pycharm连接虚拟机搭建的mysql遇到的问题整理
pycharm连接虚拟机搭建的mysql遇到的问题整理1. pycharm连接mysql数据库2. pycharm连接时遇到的问题2.1 mysql版本和驱动问题2.2 连接报错超时2.3 SSH连接MYSQL3. pycharm代码中连接数据库出现的问题3.1 关于模块MySQLdb3.2 连接时报错time_out3.3 关于create_engine用法1. pycharm连接mysql数据库连接教程可参考PyCharm连接虚拟机MySql数据库。2. pycharm连接时遇到的问题2.1 m
2022-02-06 10:53:38
2255
原创 python爬虫之HTTP和HTTPs
python爬虫之HTTP和HTTPs1. 基础定义2. HTTP工作原理2.1 爬虫过程2.2 HTTP的请求与响应2.3 URL2.4 客户端HTTP请求2.5 请求方法2.5.1 请求方法2.5.2 HTTP请求主要分为 Get 和 Post 两种方法2.5.3 常用的请求报头2.5.4 服务端HTTP响应2.5.5 响应状态码2.5.6 Cookie 和 Session：1. 基础定义HTTP协议（HyperText Transfer Protocol，超文本传输协议）是一种发布和接收 HT
2021-09-05 22:02:46
507
原创 python爬虫之通用爬虫和聚焦爬虫
python爬虫之通用爬虫和聚焦爬虫1. 通用爬虫1.1 定义1.2 抓取流程：1.3 搜索引擎如何获取一个新网站的url:1.4 Robots协议1.5 通用爬虫工作流程2 聚焦爬虫2.1 出现的必然2.2 定义爬虫根据使用场景分为通用爬虫和聚焦爬虫。1. 通用爬虫1.1 定义搜索引擎的爬虫系统；把互联网的网页下载来，放在本地服务器，形成备份，再对这些数据进行处理，提取关键字去广告的，并向用户提供接口。(比如百度快照，百度快照不能爬取文字类相关内容，不能爬取图片)。1.2 抓取流程：选取已有的
2021-09-04 16:14:25
2239
原创 python爬虫 -- 前言介绍
python爬虫 -- 前言介绍1. 大数据时代，数据来源2. 什么是爬虫3. 怎么抓取网页数据？3.1 网页三大特征3.2 爬虫设计思路4. 为什么选择python爬虫？5. python爬虫5.1 何如抓取HTML页面5.2 解析服务器响应的内容5.3 爬虫框架5.3.1 Scrapy框架5.4 分布式策略5.4.1 scrapy-redis5.4 爬虫 反爬虫 反反爬虫之间的斗争1. 大数据时代，数据来源大型互联网公司，自己积累的数据数据管理资讯公司：数据团队调研、问卷，专家对话等政府/机构
2021-09-03 22:32:19
359
原创 统计学习方法学习笔记 -- 第一章 统计学习方法概论
统计学习方法学习笔记 -- 第一章 统计学习方法概论1.1 统计学习1.2 监督学习1.2.1 基本概念三级目录1.1 统计学习实现统计学习方法的步骤：得到有限得训练数据集合确定包含所有可能得模型得假设空间，即学习模型的集合确定模型选择得准则，即学习的策略确定求解最优模型得算法，即学习的算法通过学习方法选择最优模型利用学得的最优模型对新数据进行预测和分析统计学习包括监督学习，非监督学习，半监督学习贺强化学习。重点讨论监督学习。1.2 监督学习1.2.1 基本概念输入空间， 特征
2021-08-17 21:20:34
124
原创 python之Sklearn库
python之Sklearn库0 前言1. 数据集的预处理1.0 下载数据1.1 数据查看1.2 标签清洗1.3 标签编码1.4 数据集得标准化1.5 构建训练集和测试集2. 八大分类算法2.1 K近邻(KNN)2.1.1 介绍2.1.2 实现2.2 朴素贝叶斯算法2.2.1 介绍2.2.2 实现2.3 决策树算法2.3.1 介绍2.3.2 实现2.4 逻辑回归2.4.1 介绍2.4.2 实现2.5 支持向量机算法2.5.1 介绍2.5.2 实现2.6 集成方法 -- 随机森林2.6.1 介绍2.6.2 实
2021-08-12 19:15:05
1679
原创 python之Matplotlib库
python之Matplotlib库1. 前言2. 环境配置3. Matplotlib3.1 折线图plot3.1.1 单条曲线3.1.2 多条曲线3.2 散点图 sccatter3.2.1 简单的散点图3.3 柱状图 bar3.4 多子图 subplot3.5 直方图 hist3.6 误差图 errorbar bar3.7 图修饰3.7.1 线条3.7.2 数据点3.7.3 坐标轴3.7.4 图形3.7.5 添加文字和箭头3.8 面向对象的绘图风格3.9 三维绘图4. 其它绘图工具4.1 seaborn库
2021-08-09 07:04:40
1273
4
原创 python之pandas库
python之pandas库1. 前言2. 对象创建2.1 带标签的一维数组series2.1.1 用列表创建2.1.2 用一维numpy数组创建2.1.3 用字典创建2.2 多维DataFrame3. DataFram性质3.1 属性3.2 索引3.2.1 获取列3.2.2 获取行3.3 切片3.3.1 行切片3.3.2 列切片3.4 布尔索引3.4.1 比较运算3.4.2 掩码3.5 赋值3.5.1 增加新列3.5.2 索引，切片赋值3.5.3 修改Index和columns4. 数值运算及统计分析4.
2021-08-07 15:40:24
393
原创 python之numpy库
python之numpy库1. 引言1.1 python for循环计算的低效1.2 numpy为什么如此高效3.2 产生随机整数3.2.1 randint(a, b) -- 产生[a, b]之间的随机整数3.2.2 randrange(a) -- 产生[0, a)之间的随机整数3.2.3 randrange(a, b, step) -- 产生[a, b)之间以step为步长的随机整数3.3 产生随机浮点数3.3.1
2021-08-07 07:27:52
374
1
原创 python之mysql数据备份和恢复
python之再学mysql1. 数据的备份和恢复1.1 数据备份1.2 数据恢复1. 数据的备份和恢复下面的命令属于mysql特有的，不属于sql句。1.1 数据备份操作步骤如下：step1:进入超级管理员: sudo -sstep2:进入mysql库目录： cd/var/lib/mysqlstep3:运行mysqldump命令进行备份：mysqldump -uroot -p 数据库名 > ~/Desltop/备份文件名.sql;上述命令会备份数据库中建表语句和表中的数
2021-08-04 06:49:30
607
1
原创 python之PyMysql
python之PyMysql1. 前言2. Connection对象(连接对象)2.1 作用2.2 创建Connection对象2.3 对象的方法2.3.1 关闭连接 close()2.3.2 事务相关方法3. Cursor对象(操作数据库对象)3.1 作用3.2 创建Cursor对象3.3 Cursor对象方法3.3.1 关闭 close()3.3.2 执行SQL语句execute()3.3.3 执行查询语句 fetchone()3.3.4 获取当前行的下一行 next()3.3.5 查询所有结果 fet
2021-08-04 00:06:26
239
1
原创 python之SQL表连接
python之SQL表连接1. 前言2. 内连接2.1 语法和实例3. 外连接3.1 左(外)连接3.1.1 特点3.2 右(外)连接3.2.1 特点3.3 全(外)连接3.3.1 特点1. 前言什么是连接？需要查询两张表中的内容，比如通过外键约束的两张表。2. 内连接2.1 语法和实例语法假如表1通过外键与表2进行连接--- 语法1 -- where后面可以为表1和表2的任何字段相关的运算符select 表1.字段1, 表2.字段2 --- 查询内容from 表1, 表2
2021-08-03 21:35:50
527
原创 python之SQL表的关系
python之SQL表的关系1. 前言2. 表之间的关系3. 表创建3.0 说明3.1 一对一关系表3.1.1 要求3.1.2 表的创建3.2 一对多关系表3.2.1 要求3.2.2 实例3.3 多对多关系表3.3.1 要求3.3.2 案例1. 前言实际中，一张表不能包含所有数据，因此实际数据库中会存在各种有关联的表。2. 表之间的关系表之间的关系为一对一关系，一对多关系，多对多关系。一对一关系人和身份证关系。一个人只有一个身份证，一个身份证只对应一个人。一对多关系省会和城市的关系。一
2021-07-31 22:16:44
372
原创 python之SQL事务
python之SQL事务1 前言1.1 背景-- 业务的回滚1.2 事务Tansaction的定义2 事务语句2.1 事务操作流程2.2 案例 -- 以银行转账业务入例：1 前言1.1 背景-- 业务的回滚当一个业务执行多条SQL语句时，如果其中一条SQL执行错误，则需要回退到最开始的地方，保证业务逻辑的正确性和业务的完整性，比如转账业务；事务可以完成回退的功能，在事务中该回退被称为回滚。1.2 事务Tansaction的定义事务是一个操作序列；该操作序列要么都做，要么都不做，即是一个不可分割的
2021-07-31 20:30:49
472
原创 python之SQL视图
python之SQL视图1 视图(View)定义2 作用3 创建视图4 删除视图5 视图注意1 视图(View)定义从若干基本表和(或)其它视图构造出来(select 出来)的表(虚表)。在创建一个视图时，只存放视图的定义，即存放动态检索数据的查询语句，不存放视图对应的数据在用户使用视图时才去求相应的数据视图被称为虚表2 作用通过选择特定数据的访问，可以给用户授予特定部分的访问权限，而不是整个表的权限；使得复杂的查询变得简单；在编写查询后，可以方便的重用它而不必知道它的基本查询细节；
2021-07-31 20:30:36
591
原创 python之SQL索引
python之SQL索引1 前言2 索引的作用3 索引的创建3.1 自动创建3.2 手动创建4 索引的删除5 索引的要点1 前言当数据库中存在大量数据时，查询速度便称为了一个重要的问题；因此可以采用新华字典拼音或者偏旁部首的方式，建立类似目录的数据库对象，实现数据快速查询。在后台提供。2 索引的作用通过使用快速路径访问方式快速定义数据，减少磁盘的I/O，从而来加速表的查询；但是索引会增加增删改的效率。3 索引的创建索引创建以后，在用户调用select会自动起作用。以加了索引的字段进行查询时
2021-07-31 20:30:21
240
原创 python之SQL表的约束
python之SQL表的约束1 前言2 约束类型2.1 主键约束2.2 非空约束2.3 唯一约束2.4 检查约束check约束2.5 外键约束3 约束的其它操作3.1 添加约束3.2 删除约束1 前言表的约束是为了限定每一个字段的数值。2 约束类型2.1 主键约束前言一个表中只能有一个主键，主键其实是一个抽象的概念，一个表可以由两个或者两个以上的字段组成主键(称为联合主键或者复合主键，性能较差，不建议使用，联合主键时建议采用ID做主键)，在联合主键情况下，只有当组成字段的所有数值相同了，才
2021-07-31 20:30:04
162
原创 python之SQL语言类型
python之SQL1. 前言1.1 概念1.2 介绍1.3 作用2. SQL语言的分类2.1 DDL(数据定义语言)2.1.1 数据库定义相关2.1.2 表操作2.2 DML(数据操作语言)2.2.1 增加insert2.2.2 删除delete2.2.3 修改update2.3 DQL(数据查询语言)2.3.1 最简单的查询方式： select * from2.3.2 字段中运用算术表达式2.3.3 使用字段别名替换较长的字段名2.3.4 连接运算符(MySQL不支持，Oracle支持)2.3.5 去重
2021-07-31 20:29:46
985
原创 python之MySQL
python之MySQL1. 前言2. 安装3. MySQL客户端3.1 命令行客户端1. 前言最流行的关系型数据库管理系统之一；是将数据保存在不同的表中，而不是将所有数据放在一个大仓库中，这样增加了速度和灵活性。由瑞典MySQL AB公司开发属于Oracle旗下产品WEB应用方面，MySQL是最好的RDBMS(Relational Database Management)应用软件MySQL使用SQL语言访问数据采用双授权政策，分为社区版和商业版体积小，速度快，总体拥有成本低开源中小型
2021-07-28 22:45:09
86
2
原创 python数据库基础概念
python数据库基础概念1. 前言1.1 数据1.2 数据库 (Database, DB)1.3 数据库管理系统(Database Management System, DBMS)1.4 数据库应用程序DBAS1.5 数据库管理员 (Database Administrator, DBA)1.6 最终用户1.7 数据库系统 (Database System, DBS)2. 数据的发展阶段2.1 网状数据库2.2 层次数据库2.3 关系数据库2.4 对象数据库2.5 NOSQL数据库(Not Only SQ
2021-07-28 07:13:24
314
原创 python正则表达式
python正则表达式1. 前言1.1 概念1.2 作用：2.案例--判断手机号3. 正则表达式规则3.0 原始字符串与转义字符3.1 表示字符3.1.1 规则3.1.2 实例3.2 表示数量3.2.1 规则3.2.2 实例3.3 表示边界3.3.1 规则3.3.2 实例3.4 匹配分组3.4.1 规则3.4.2 案例4. python中的正则4.1 re模块4.2 re使用4.2.1 导包4.3 常用方法4.3.1 match()方法4.3.2 search()方法4.3.3 findall4.3.4 s
2021-07-27 22:22:18
3875
12
原创 python之wireshark
python之wireshark1. 前言2. 安装wireshark软件3. 使用1. 前言网络抓包软件。2. 安装wireshark软件next —> agree默认安装，注意winPcap必须安装，抓包靠的这个工具。3. 使用界面：点击开始捕获。可以使用过滤器进行筛选，比如规定协议udp，http或者IP源：信息会经过网络中的各种层。...
2021-07-26 21:23:50
1177
原创 python网络基础
python网络基础1. 前言1.1 拓扑图1.2 三个问题2. IP2.1 概念2.2 组成2.3 分类2.4 私有IP和私有IP2.4.1 共有IP2.4.2 私有IP2.5 子网掩码3. 网络端口3.1 前言3.2 注意4. 网络协议4.1 前言4.2 四层模型1. 前言1.1 拓扑图1.2 三个问题IP windows中查看： ipconfigip linux中查看: ifconfig2. IP2.1 概念用来在网络中唯一表示一台计算机的一串数字，比如192.168.1.1；
2021-07-25 23:56:47
3572
11
原创 python多线程
python多线程1. 线程概念2. 进程和线程区别3. python创建多线程3.1 利用threading进行方法传递创建线程3.1.1 查看当前线程数量3.2 利用类继承的方式创建线程3.2.1 声明3.2.2 调用3.3 线程的状态4. 线程间的通信4.1 共享全局变量4.1.1 前言4.1.2 案例4.1.3 利用传参方式使用全局变量4.2 线程安全问题--线程同步问题4.2.1 案例4.2.2 线程同步 -- 给线程加锁4.2.3 死锁4.2.4 利用锁控制线程依次执行4.3 利用Queue在
2021-07-25 22:37:57
512
3
原创 python之pdb调试
python之pdb调试1. 引言2. 三种调试2.0 pdb调试常见命令2.1 执行时调试 -- 单步调试2.1.1 语法2.1.2 实例2.2 交互调试2.3 程序里埋点1. 引言逻辑上错误需要调试。pdb是ptyhon内置的一个调试库，为 python 程序提供了一种交互的源代码调试功能，主要特性包括设置断点、单步调试、进入函数调试、查看当前代码、查看栈片段、动态改变变量的值等。2. 三种调试2.0 pdb调试常见命令2.1 执行时调试 – 单步调试运行时调试。2.1.1 语法py
2021-07-24 09:34:14
4446
原创 python之functools
python之functools1. 引言2. 特别介绍2.1 partial函数(偏函数)2.1.1 实例2.2 wraps函数2.2.1 实例1. 引言functools 是python2.5被引人的,一些工具函数放在此包里。2. 特别介绍2.1 partial函数(偏函数)把一个函数的某些参数设置默认值，返回一个新的函数，调用这个新函数会更简单。2.1.1 实例代码1：代码2：2.2 wraps函数在使用修饰器时，被修饰的函数其实已经是另一个函数了(函数名等函数属性发生
2021-07-24 09:13:55
85
1
原创 python内建函数
python内建函数1. 常见的内建函数2. map函数2.1 单个参数2.2 两个参数2.3 自定义3. filter3.1 含过滤条件3.2 不含过滤条件4. reduce4.1 实例1. 常见的内建函数2. map函数2.1 单个参数2.2 两个参数2.3 自定义3. filter过滤器。返回一个可迭代的对象。3.1 含过滤条件3.2 不含过滤条件4. reduce4.1 实例reduce: reduce....
2021-07-23 22:34:58
54
原创 python内建属性
python内建属性1. 前言2. 常见的专有属性3. 特殊属性讲解3.1 __getattribute__3.1.1 作用3.1.2 实例3.1.3 重写__getattribute__的坑1. 前言对于一个类，python定义了许多可用的魔法属性，有些每个类都默认存在，有些需要用户手动定义。在Python中，有的名称会在前面和后面都加上两个下划线，例如__future__、init、__del__以及__new__等等，这些特殊的名称，在python中就称为魔法方法或魔法属性。2. 常见的专有属
2021-07-23 22:19:56
116
原创 python内存管理机制GC
python内存管理机制1. 前言1.1 关于python的存储问题2. 垃圾回收GC2.1 GC功能3.python中的GC3.1 引用计数机制3.1.1 祖先object的底层3.1.2 引用计数的优点和缺点3.1.2 引用计数变化情况3.1.3 引用计数的查看3.1.4 循环引用的问题3.1.5 触发垃圾回收机制的情况3.1.6 GC中的方法1. 前言控制python内存，对python内存进行回收。1.1 关于python的存储问题由于python中万物皆对象，所以python的存储问题是
2021-07-22 22:31:06
266
原创 python对象池
python对象池1. 前言2. 对象池内容附 intern机制1. 前言python是解释性语言，，为了优化速度，避免频繁申请和销毁内存空间，python提供了对象池，创建了一大堆常驻对象。这些对象的内存地址都是一样的。2. 对象池内容小整数对象池 [-5, 256]创建其它大整数时，均需要重新声请空间创建新的对象。单个字符提供对象池，常驻内存。字符串和单个单词单个单词不可修改，默认开启intern机制，采用计数机制共用对象，引用计数为0则销毁；intern机制处理字符串长度小于等于2
2021-07-22 21:58:23
567
原创 python类装饰器
python类装饰器1. 前言2. 声明和调用2.1 声明2.2 调用1. 前言装饰器函数其实是这样的接口：接收一个callable对象(重写__call__方法 )作为参数，返回一个callable对象。一般callable对象都是函数，但也有例外，只要对某一个对象重写了__call__()方法，那么这个对象就是callable的。即重写__call__方法可以让一个类的实例可以像一个方法一样使用。如：2. 声明和调用2.1 声明Step1： 生成类Step2：在类中__init__方法
2021-07-22 21:35:14
58
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人