- 博客(109)
- 收藏
- 关注
RSS订阅原创 Django中的多条件多表匹配查询**kwargs
文章目录Django中的多匹配查询1. 问题2. 思考过程3. 解决过程4. 最终结果Django中的多匹配查询**check_list1. 问题我们在前端可能有多个下拉框之类的查询条件但下拉框的条件并不一定全选check_list下拉框的数量可能很多配合别的条件进行查询时等等遇到这些查询我们能直接写查询语句吗？可以，但要将每一种情况都考虑到并且不断判断过于复杂繁琐。...
2020-05-04 12:00:41
1095
原创 js修改url中某个参数的值
js修改url某个参数值当一个页面上的搜索条件很多而且需要进行联合get查询时当这个联合查询可以无限制的进行下去这时你的url会怎样？无限制的在当前的url后面附加你的查询参数吗？很显然这是不科学的。下面分享一个办法可以直接修改当前url中的某个参数的值而不会导致这个url中同一个参数存在多个值的情况。这在一定程度上就将url的长度控制到了最短。既人性化又利于搜索引擎的优化。下面...
2020-05-03 13:08:10
3938
1
原创 python Django 实现发送邮件（QQ/163/新浪）两种发送方式 django.core.mail中send_mail 以及smtplib+MIMEText
文章目录一、QQ设置二、python代码1. 第一种发送方式2. 第二种发送方式一、QQ设置打开QQ邮箱设置（以QQ为例）进入帐户第二步，开启服务，并且生成授权码二、python代码1. 第一种发送方式借用smtplib；ssl 协议安全发送 smtplib.SMTP_SSL(host=smtpServer,port=commonPort)；smtp的sendmail...
2020-03-13 20:56:05
936
原创 python 机器学习（一）无监督学习 + 监督学习 + 聚类算法 + k-means算法自实现
文章目录一、机器学习1. 概念2. 人工智能基础（数据分析、数据挖掘）3. 数据分析、与数据挖掘的区别4. 无监督学习5， 监督学习6. 无监督学习和监督学习的区别7. 聚类算法8. k-means算法自实现9. KMeans算法实现聚类一、机器学习1. 概念在历史数据中去发现规律，然后利用规律，在新的数据中进行预测、与指导2. 人工智能基础（数据分析、数据挖掘）如果想要一个好的...
2019-11-25 20:07:34
1749
原创 python 数据分析（六）astype('category')按类别分组 + 分组聚合操作 + 透视表 + 交叉表 + excel表的数据处理
文章目录一、按照类别单独分类astype()1. astype()用法二、时间操作1. 第一种：直接利用to_datetime()2. 第二种：Series.dt三、分组聚合操作1. 分组（1）groupby()方法2. 聚合（1）agg()方法① 使用方法1② 使用方法2③ 使用方法3④ 使用方法4（2）在分组的基础上进行聚合操作（3）apply()方法（4）transform()方法① 对于离...
2019-11-21 22:17:45
9282
原创 python 数据分析（五）合并多个sheet表 +xlrd模块的一些方法 + iloc与loc + pandas数据清洗 + DataFrame增删改查 + 统计函数
文章目录一、多个工作表合并（pandas）1. 读取sheet表2. read_excel函数源代码一些常用参数介绍3. 多个sheet合并成一个表（1）xlrd的一些方法① 打开workbook获取Book对象（open_workbook）② 获取Book对象中所有sheet名称③ 获取Book对象中所有Sheet对象④ 判断Book对象中某个sheet是否导入⑤ 对Sheet对象中的行操作⑥ ...
2019-11-20 22:51:02
2564
原创 python 数据分析（四）Pandas 统计分析基础 （文本文件的读写 + DataFrame的常用属性 + loc方法）
文章目录一、读写不同数据源的数据1. 文本文件的读写（1）文本文件读取① 使用 read_table 来读取文本文件② 使用 read_csv 函数来读取 csv 文件③ read_table 和 read_csv 常用参数及其说明（2）文本文件存储① to_csv写入csv 文件② 参数说明（3）读取 Excel 文件① Excel 文件读取② 参数说明（4）Excel 文件储存二、查看 Dat...
2019-11-19 21:17:26
3134
原创 python 数据分析（三）矩阵的创建 + 运算 + 常用属性（转置，共轭，逆矩阵等）+ ufunc广播机制 + numpy文件读写 + 排序 + 去重与重复 + 统计函数 + 欧氏距离的使用
文章目录一、矩阵1. 矩阵的定义2. 矩阵的创建（1）mat()函数方法（2）matrix()函数（3）bmat()函数① 字符串写法② 列表写法3. 矩阵的运算（1）矩阵与数相乘--》数乘：mat*3（2）矩阵加减法:A+B（3）矩阵相乘:A*B（4）矩阵对应元素相乘（5）数组的四则运算（6）数组的比较运算4. 矩阵的常用属性（1）转置----》T（2）共轭转置矩阵-- 》H 即A(i,j)=A...
2019-11-18 21:45:49
2869
原创 python 网络爬虫 （十五）Redis数据库的安装（配成服务器）+ redis基础命令 + redis集中数据类型及其操作（string + hash + list + sets + zset）
文章目录一、Redis的介绍及安装（配成服务器）1. Redis的介绍2. Redis的优点1. 安装成服务2. redis的客户端命令和服务端命令3.redis命令一、Redis的介绍及安装（配成服务器）1. Redis的介绍REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis是一个...
2019-11-16 15:21:00
393
原创 python 数据分析（二）numpy模块详解 + numpy的使用 + 使用numpy属性创建数组 + numpy.random相关方法 + 数据类型 + 数组元素访问 + 数组操作（变换展平组合）
文章目录一、Numpy1. numpy的介绍2. 数组和列表的区别3. numpy使用python的原因4. Numpy的使用（数组中的用法）① 第一步：导包② 创建一个数组③ 数组的常用属性（1）维度：shape（2）秩：ndim（3）数组元素总个数：size（4）数组的元素类型：dtype（5）每个元素的字节大小:itemsize（6）缓冲区：data二、使用numpy的属性创建数组1. nu...
2019-11-15 22:44:00
1627
原创 python 数据分析 （一）数学基础（统计学知识和线代的矩阵）
文章目录一、统计学知识1. 众数（1）概念：（2）注意：（3）举例（4）总结2. 中位数（1）定义（2）注意（3）案例（4）总结3. 平均数4. 方差（1）定义（2）方法（3）公式（4）案例（5）总结5. 标准差（均方差）（1）定义（2）案例（3）总结6. 高斯分布二、线代1. 矩阵（1）矩阵的由来（2）矩阵的表示2. 特殊矩阵（1）零矩阵（2）行矩阵（n维行向量），m=1（3）列矩阵（m维列向量...
2019-11-14 20:25:51
1058
1
原创 python 网络爬虫（十四）replaction复制集的实现 + MongoDB数据的几种不同方式导入导出恢复（json，bson，csv格式）
文章目录一、MongoDB数据的导入导出1. 通用选项2. mongoexport 导出json格式的文件与mongoimport导入（1）mongoexport 导出json文件步骤（2）mongoimport导入（3）mongoexport导出csv格式（4）mongoimport导入csv文件3. mongodump导出二进制bson结构的数据及其索引信息（1）mongodump导出步骤4....
2019-11-10 15:30:20
780
原创 python 爬虫（十三）MongoDB基础：增删改查操作 + MongoDB 聚合 + 游标的概念和操作 + B tree + hash索引 + 索引的常用命令（创建，删除等）
文章目录一、MongoDB增删改查操作1. 增加：insert方法（1）增加单篇文档（一条数据）（2）增加多个文档（多条数据）2. 删除：remove（1）删除符合条件的文档（2）删除大于某个值的文档：$gt（3）删除小于某个值的数据：$lt（4）删除小于等于某个值的数据：$lte（5）删除大于等于：$gte（6）删除不等于：$ne（7）删除文档，只删除一个：{justOne:true}3. 更新...
2019-11-06 23:49:36
417
原创 python 爬虫（十二）MongoDB详解（安装 + 介绍 + MongoDB库和集合的介绍（相关命令：创建 + 删除）） + 爬虫中分页的两种方法
注意：爬取网站的流程：确定网站哪个url是数据的来源。简要分析一下网站结构，查看数据一般放在哪里。查看是否有分页，解决分页的问题。发送请求，查看response.text里面是否有我们想要的数据内容。如果有数据，就用相应的提取数据的方法提取数据保存。如果没有，我们就可以通过以下两种方法来实现爬取：（1）分析数据来源，查看是否通过一些接口获取到的页面数据。（首推）如果没有在页面中...
2019-11-06 22:09:43
328
原创 python 爬虫（十一）多线程爬虫基础 + 通过ajax接口获取数据（多线程的运用+案例（腾讯招聘+链家）） +（程序+进程+线程+多线程+多线程和多进程的区别 + 互斥锁+ 死锁 + 银行家算法）
小知识：格式化字符串的三种方法：'....%s.' %i "%"是Python风格的字符串格式化操作符；下面整理了一些符号及其含义例子：注意：如果是%和浮点数要用两个%来表示%；如‘%.2f%%’# 方式1：使用%运算符， %s表示任意字符，%d表示整数，%f表示浮点数name = 'tom123456'age = 18height = 180.5print('大家好，我叫...
2019-11-04 22:27:54
594
原创 python 爬虫（十）selenium+phantomjs请求页面流程 + selenium的三种等待 + 案例（豆瓣读书 + 腾讯招聘）
文章目录一、selenium+phantomjs来请页面的流程1. 导包2. 创建driver对象3. 请求url4. 等待4. 获取页面内容5. 用lxml模块解析页面内容二、selenium的三种等待1. 强制等待2. 隐性等待3. 显性等待4. expected_conditions三、案例：豆瓣读书，腾讯一、selenium+phantomjs来请页面的流程1. 导包from s...
2019-11-03 22:23:07
505
原创 python 爬虫（九）selenium常用方法总结
文章目录一、selenium常用方法二、selenium十八种定位方法三、selenium方法整理一、常用库导入二、基本操作一、selenium常用方法注意：下面的driver均为实例化对象from selenium import webdriver#1创建driver对象driver = webdriver.Phantomjs()1.获取当前页面的Url方法：current_u...
2019-11-03 21:20:22
1545
原创 python 常遇问题之---------编译器/python多版本兼容问题（以python和anaconda为例） 看完这些你对环境变量的配置就会得心应手！
小知识：其实这不仅仅针对于python或者编译器版本兼容；对于任何容易冲突的软件都适用解决办法：环境变量中解决文章目录一、多版本兼容1. path环境变量的真正含义2. 配置环境变量？3. 对环境变量的理解4. 查看某个程序配置环境变量所写的位置5. 解决版本冲突6. 如何使用别的版本呢？7. anaconda和python冲突的解决办法一、多版本兼容1. path环境变量的真正含义...
2019-11-03 15:55:59
1121
原创 python 爬虫（八）常见的反爬措施以及应对措施（爬虫必备）+ 动态Html页面的处理方法 + selenium+PhantomJS的介绍及安装
python中文件操作的小知识： 如何打印一个文件同时输出行号方法：枚举enumeratefp = open('test.txt','r',encoding='utf-8') print(fp) #如何输出行号 for i,c in enumerate(fp,1): ## 接收两个参数，第一个为遍历内容，第二个为起始行号，默认为0 print(i,c)文章目录一、常见的反爬...
2019-11-02 17:14:43
3018
原创 python基础知识（二）最全的 列表 + 字典 合并方法 dict(a.items()+b.items())方法真的完全有效吗？你可能需要重新认识一下！！！
这些方法你全会吗？反正不总结之前的我不是！文章目录一、两个字典的合并1. 第一种方法：字典的常规处理方法2. 第二种方法 dict(a,**b)3. 第三种方法 c = {} c.update(a) c.update(b)4. 第四种方法 ：dict(a.items()+b.items())5. 第五种方法：dict(**a, **b)二、两个列表的合并第一种方法：普通合并 += 或者直接...
2019-11-02 14:21:00
1877
原创 python基础知识（一） 可迭代对象和迭代器-------------你真的了解了吗？！！！
文章目录一、可迭代对象和迭代器1. 可迭代对象的概念2. 迭代器的概念3. 判断该对象是否可迭代的两种方式4. 可迭代对象转换成迭代器总结：一、可迭代对象和迭代器1. 可迭代对象的概念可迭代对象就是有__iter__属性的对象Iterable对象的本质是该对象内部实现了一个__iter__方法，也可使用dir函数通过判断该对象是否有__iter__方法来判别是否为Iterabl...
2019-11-01 21:55:39
175
原创 python 爬虫（七）lxml模块 + lxml数据提取（字符串的xml/html文件--转换--element对象--转换--字符串）调用XPath方法筛选数据 + 案例（扇贝 酷狗 网易云音乐）
文章目录一、lxml模块1. lxml简介与安装2. lxml初步使用1. 导包2.xml转成element对象的方法（1）将字符串形式的xml内容解析成可以调用xpath语法的element对象的方法3. 将一个html文件转化成element对象的方法4. 如何将element对象转化成字符串的方法二、在python中如何使用XPATH1. 使用xpath语法筛选元素一、lxml模块1....
2019-10-30 23:12:16
8011
原创 python 爬虫（六）XML的介绍（与HTML的区别 + 节点关系） + XPATH语法内容（选取节点 + 谓语 + 选取未知节点 + 选取若干路径 + XPath的运算符）
文章目录一、XML1. 什么是XML2.XML和HTML的区别1.语法要求不同2. 标记不同3. 作用不同3. XML的节点关系(1)父节点(Parent)(2)子节点(Children)(3)同胞(Sibling)(4)先辈(Ancestor)(5)后代(Descendant)二、XPATH1. 什么是XPath2. XPATH语法内容1. 选取节点2. 谓语3. 选取未知节点4. 选取若干路径...
2019-10-30 22:16:47
595
原创 python 爬虫（五）json模块最全攻略（相关方法详解） + 使用正则抓取数据的案例（猫眼电影 + 股吧 + 药网）
爬虫精髓：使用.*?进行匹配获取内容python小技巧： alt加回车键快速导包文章目录一、json相关方法及用法1. json的概念2. json的操作1. json.dumps()和json.loads()是将python中的list或dict转换成json语句（可以这么理解为操作数据）（1） json.dumps()函数是将一个Python数据类型列表进行json格式的编码（可以这么理解...
2019-10-30 20:28:42
1160
3
原创 python爬虫（四）正则表达式 + 元字符 + pattern对象的相关方法 + 贪婪模式和禁止贪婪
文章目录一、正则表达式的必备知识1. 正则表达式概念2. 正则表达式的原理3. 数据的存储和分类4. json数据5. 解析json的包二、 正则表达式1. 元字符2. re模块的使用步骤3. pattern对象的方法4. 正则表达式中的分组5. 正则表达式的模式6. 贪婪模式与非贪婪模式7. 通用匹配正则表达式一、正则表达式的必备知识1. 正则表达式概念正则表达式：又称规则表达式，通...
2019-10-29 21:06:02
1694
原创 python 爬虫（三）cookie和session + 爬虫中使用cookie或session实现登录 + 代理的设置（解决ip被封问题）
文章目录一、cookie和session1.产生的缘由2.cookie和session存放位置3. cookie① cookie定义② cookie的分类③ cookie的组成（属性）④ 常见误区4. session① session的由来② session的定义③ session流程④ session失效时间5. session和cookie的区别二、使用cookie或session登录1. 爬...
2019-10-29 20:00:11
4775
原创 python 爬虫（二）requests模块的介绍 + 基于requests模块的get请求和post请求 + 相关爬取案例（百度贴吧 + 百度产品 + 有道翻译 + 百度翻译）
文章目录一、requests模块1. requests模块的定义2. 使用requests模块的原因3. 如何使用requests模块二、基于requests模块的请求1. requests模块get请求① 完成请求的步骤② response对象包含的内容③ get请求的项目类别三种情况1. **没有请求参数的**2. **带请求参数的**3. **分页---百度贴吧**④ 查看网页使用的是get...
2019-10-28 20:16:38
765
4
原创 Pycharm自动换行的方法 pycharm鼠标滚动，调整字体大小
文章目录一、Pycharm自动换行的方法二、pycharm鼠标滚动，调整字体大小一、Pycharm自动换行的方法只对当前文件有效的操作是菜单栏->View -> Active Editor -> Use Soft Wraps。要是想对所有文件都起到效果，就要在setting里面进行操作。Perferences-Editor-General -> Use sof...
2019-10-28 11:03:14
550
原创 python爬虫（一）爬虫的认识 + 搜索引擎 + 爬虫分类 + 使用爬虫爬取数据流程 + 爬虫必备知识点（http和https） + hash实现加密文件字符串
文章目录一、获取数据的方式，爬虫的必要性二、爬虫的定义 分类 流程 搜索引擎1. 网络爬虫的定义：2. 爬虫可以解决的问题：3. 爬虫工程师的进阶之路4. 爬虫的分类① 通用爬虫：②聚焦爬虫：5. 爬虫的流程6. 爬虫如何爬取网页数据7. 搜索引擎：三、爬虫所需知识点1. 爬虫的准备工作2. http和https3. http请求和浏览器响应4. 客户端请求5. 服务端响应6. hash实现加密文...
2019-10-27 21:47:51
1340
原创 Django + Flask +（nginx+uwsgi部署）面试题必问60题（多送一题）集锦 + 详解
文章目录1.Django创建项目的命令2.Django创建项目后，项目文件夹下的组成部分3.对 MVC,MVT 解读的理解4.Django中models利用ORM对Mysql 进行查表的语句（多个语句）5.django 中间件的使用6.谈一下你对 uWSGI 和 nginx 的理解？7.nginx 和 uWISG 服务器之间如何配合工作的8.django 开发中数据库做过什么优化9.验证码过期时间...
2019-10-25 21:04:49
2198
原创 Django 中F对象，Q对象，聚合（aggregate）分组（annotate）
文章目录一、F对象 Q对象1. F对象2. Q对象二、聚合函数（aggregate）三、分组（annotate）一、F对象 Q对象1. F对象F对象用于比较同一个模型中的两个字段的值用法如下：2. Q对象Q对象用于处理多条件中的逻辑关系 and or not用法：二、聚合函数（aggregate）第一步：导包第二步：使用一般我们可以给他设置返...
2019-10-24 16:01:46
721
原创 flask效率
文章目录一、flask效率1. python中提高性能2. 利用生成器yield实现携程（work1和work2进行切换）greenlet（封装的yield）3. gevent（封装的greenlet）4. 猴子补丁（monkey）5. flask效率一、flask效率提升flask的效率flask 默认支持 多线程的的服务器操作1. python中提高性能进程 fork...
2019-10-21 20:40:20
702
原创 flask部署
文章目录一、flask部署一、flask部署跟之前的Django项目部署类似：首先保证有在centos操作环境下，之前电脑装过虚拟机，里面也有Python2和Python3共存；
2019-10-20 21:42:39
2128
原创 flask蓝图介绍及创建蓝图
文章目录一、蓝图1. 什么是蓝图2. 蓝图的运行机制3. 运行创建的蓝图及加上路由前缀4. 一个项目中多个蓝图5. 使用蓝图构建项目一、蓝图1. 什么是蓝图蓝图（blueprint）：用于实现单个应用的视图、模板、静态文件的集合。蓝图就是模块化处理的类。类似于django中app，子应用。简单来说，蓝图就是一个存储操作路由映射方法的容器，主要用来实现客户端请求和URL相互关联的功能。...
2019-10-18 21:51:28
9795
原创 flask请求上下文 + 上下文钩子 + 单元测试
文章目录一、flask请求上下文二、上下文钩子（回调函数）一、flask请求上下文原文档：flask 源码解析：上下文Flask中有两种上下文，程序上下文（application context）和请求上下文（request context）request context：request 负责请求，获取请求方式，获取请求数据视图函数需要上下文信息，flask将请求报...
2019-10-17 20:54:19
422
原创 flask-restful + flask-migrate + flask-csrf + 给类视图增加多个装饰器
文章目录一、flask-restful1. flask 中restful安装及配置，基本结构（路由的两种写法）① 第一步：安装② restful使用（配置，收集路由）③ 基本结构（路由的两种写法）2. 视图中使用restful**① get请求**② post请求③ put请求④ delete请求⑤ Django和flask中一些方法不同的获取方式3. 代码优化① 规定返回格式，将其写在init初...
2019-10-17 20:50:19
660
1
原创 python flask分页的实现（页面显示固定页数的方法）+ sys模块的使用（添加路径）+ 表单插件 flask-wtf + form前端验证 + 后端验证（自定义校验）+ jQuery中一些用法
文章目录一、flask中的分页1. flask中分页的介绍2. 封装分页器3. 分页方法的使用4. 视图页调用分页器进行分页5. 模板中使用返回的数据6. 在当前页面显示固定的页数的方法二、sys模块的使用（添加路径）三、撤销功能四、表单插件 flask-wtf1. form表单类前端校验① 定义form模型② 视图返回实例对象③ 前端调用④ 修改form前端样式⑤ form 表单常用的前端校验的...
2019-10-16 22:01:43
1363
原创 flask中的flask-wtf插件以及flask集成框架WTForms
文章目录一、flask中的flask-wtf插件以及flask集成框架WTForms1. flask-wtf的基本了解① 用法② flask-wtf中的csrf（任何使用FlaskForm创建的表单发送请求，都会有CSRF的全部保护）③ flask-wtf中提供的FileField实现文件上传④ 验证码2. WTForms 基本了解① 字段类型② Validators验证器③ 自定义Validat...
2019-10-16 21:35:12
547
原创 flask中request中的一些方法 cookie和session的创建、删除以及使用 上传图片和使用图片 装饰器（多个装饰器顺序） 对于manage.py的补充 项目DEBUG调试的开启
文章目录一、对于manage.py的补充1. 使用flask插件 完成migrate、runserver等方法① 安装Flask-script② 在文件中导入Manager，实例化方法二、配置pycharm启动项目DEBUG调试的开启三、flask请求request1. Django中的request请求一些方法2. Flask中的request请求一些方法四、request获取图片的方法五、CO...
2019-10-15 22:45:57
332
原创 flask 数据库操作orm 封装数据库操作及其使用（flask通过SQLAlchemy操作数据库）
文章目录一、flask数据库操作1. 增① 单条增加 add② 多条增加 add_all2. 查① all 方法，获取所有对象，返回列表② get方法 get只能加id才能查询③ filter 过滤 获得符合条件的数据④ first 获取第一条数据⑤ order_by 排序⑥ limit分页⑦ offset(2) 偏移2，从第三个开始，常和imit连用⑧ count()返回记录的数量⑨ 配合fi...
2019-10-15 21:18:09
3030
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人