- 博客(96)
- 收藏
- 关注
RSS订阅原创 MongoDB 中遇到的坑
MongoDB 中遇到的坑Mongodb count在项目中遇到一个这样的问题, 一个集合通过find查询的出来的结果是136, 而通过db.collection.find().count()之后的结果是79本以为是工具的问题,但通过去mongo shell 直接去查询得到一样的结果之后查阅了一番资料,终于在mongo的官方文档上找到了答案,得到答案很让我吃惊,竟然是建议我不要在不添加查询的条件的基础上进行count操作原文如下:Avoid using the db.coll
2020-07-20 14:06:35
422
原创 微信支付异步回调 flask接收
微信支付异步回调 flask如何接收微信支付中，异步回调中，请求的数据类型’CONTENT_TYPE’: ‘text/xml’，我们想要提取里面的数据，需要下面的方法from flask import requestfrom lxml import etreedata = {} root = etree.fromstring(request.data, parser=etre...
2020-01-08 11:24:54
891
原创 Python 连接数据库时遇到的问题
Python 连接数据库时遇到的问题问题描述：flask程序中当数据库连接报错，并且没有正常返回时，直接对报错相关表结构进行操作时，阻塞，这个时候关闭程序，之前操作继续进行。flask程序中当数据库连接报错，捕获异常，正常返回时，直接对报错相关表结构进行操作时不会阻塞问题分析：目前测试ORM为peewee, flask_sqlalchemy可能是连接没有释放，只有在请求结束时...
2019-12-27 15:47:23
572
原创 sqlalchemy.sql包常用方法
SqlalchemySqlalchemy.sql通过这个包可以帮助我们用python代码实现sqlfrom sqlalchemy import funcfrom sqlalchemy.sql import case, select, label, union_all, expression, column, or_, and_db.session.query( # sql相当于...
2019-03-08 14:53:56
458
原创 Go初识
Go本内容主要来自于Go语言圣经Go 初识编译型语言支持高并发基本命令go run 运行一个项目go build 在不同的系统生成不同后缀的可执行文件，之后可以随时运行Go代码格式package mainimport "fmt"func main() { fmt.Println("Hello, world")}Go语言的代码通过包（packa...
2019-02-23 16:24:21
342
原创 aiohttp + motor搭建异步服务器
aiohttp + motor搭建异步服务器aiohttp网络访问是一个IO操作aiohttp就是把asyncio用在服务器端aiohttp则是基于asyncio实现的HTTP框架motor对pymongo进行封装来实现异步操作mongo的 Python第三方库安装命令pip install motor官方文档下面是用flask搭建的一个简单的异步服务器import a...
2018-10-31 14:21:16
1011
原创 marshmallow
Marshmallow Marshmallow包的使用from marshmallow import Schema, fieldsdef validate_data(schema: Schema, data: dict, remove_blank=False): """schema验证,验证成功返回数据，验证失败返回错误信息 Parameters -----...
2018-08-09 19:57:56
1819
原创 Docker
DockerDocker 是一个为开发者和系统管理员在容器中开发、部署和运行的平台。灵活、轻量级、可互换、部署简单、扩展性强Docker的应用场景 Web 应用的自动化打包和发布。 自动化测试和持续集成、发布。镜像Image和容器Container容器是运行镜像后产生的镜像是一个包含所有需要运行的文件组成的包，比如代码、可运行文件、库、环境变量和配置文件等。镜像是...
2018-07-17 18:54:35
225
原创 Celery
Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。在 Python 中定义 Celery 的时候，我们要引入 Broker，中文翻译过来就是“中间人”的意思，在这里 Broker 起到一个中间人的角色。在工头提出任务的时候，把所有的任务...
2018-07-16 11:00:38
843
原创 单元测试、Web测试和压力测试
导入sql source 路径 反向从数据库将表模型导入django的model中 python manage.py inspectdb > school/models.py报表echartsclass Student(models.Model): name = models.CharField(max_length=256, blank=True, nu...
2018-07-10 18:13:48
1025
原创 人脸识别
人脸识别人脸有不同的颜色组成不同的颜色由三原色：红绿蓝组成红绿蓝由0~255的数字组成所以人脸是由数据组成的让自己’活下来’—–>喜欢的事情(年纪不能太大)—–>责任(工作,’义气’,社会)使用matplotlib.pyplot导入数据图片并显示,观察这张图片的数据类型进行人脸识别操作1.导入相应模块工具：GridSearchCV、fetch...
2018-06-29 17:07:22
628
原创 K-means
# K均值算法（K-means）聚类## 【关键词】K个种子，均值## 一、K-means算法原理聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。K-Means算法主要...
2018-06-29 17:00:26
1311
原创 SVM支持向量机
支持向量机SVM（Support Vector Machine）【关键词】支持向量，最大几何间隔，拉格朗日乘子法一、支持向量机的原理Support Vector Machine。支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。 那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。 见下图，...
2018-06-28 18:47:41
986
原创 决策树和朴素贝叶斯
决策树#热力第二,物理熵:混沌系统越大,越乱,越看不懂,混乱度越大,熵越大--->熵增容器,容器有个隔板,一边是氧气,一边是氮气--->熵#信息论计算机是二进制信息熵中华民族9万个汉字,有多少本书? 都是用9万个汉字排列,7000个汉字金瓶梅(不是小黄书)(明朝风气) 10万个字 因为汉字有顺序咱们就看的动随即排序 熵增加了,无法读懂这本...
2018-06-27 19:00:33
17519
2
转载 Mysql主从复制
Mysql主从实验主从的概念操作步骤关闭selinuxs#以下针对两台服务器同时操作chkconfig selinux off #关闭开机启动setenforce 0 #关闭selinuxvim /etc/selinux/config #编辑配置文件SELINUX=disabled 修改这一行chkconfig iptables off...
2018-06-26 20:14:51
193
转载 mysql高级应用
MySql-高级1.存储过程(procedure)语法:create procedure 存储过程名(参数,…)begin //代码end//注意：存储过程中有很多的SQL语句，SQL语句的后面为了保证语法结构必须要有分号（;），但是默认情况下分号表示客户端代码发送到服务器执行。必须更改结束符通过delimiter指令来跟结束符delimiter ...
2018-06-26 20:14:18
690
转载 mysql多表查询，创建视图
1.union联合查询将多个select语句的结果纵向组合select * from stuinfo union select * from stuinfoo;union:1.all #显示全部记录2.distinct #(去除重复的值 他是默认)select * from stuinfo union all select * from stuinfoo;查找北京...
2018-06-26 20:12:48
18476
转载 数据库完整性、规范化和设计理念
1.数据的完整性1.实体的完整性:一个实体就是一条记录,如果记录无法区分,称之为失去了数据的完整性.2.域完整性:如果两个字段无法区分,称之为失去了域的完整性.3.引用的完整性:两个表的对应记录不完整.(不可避免的)4.自定义完整性:自己制定的规则在实现后出现了偏差.user id usename pwd 1 123456@qq.com 12...
2018-06-26 20:11:19
2197
转载 mysql字符集和数据类型
Lesson_2MySql-21.1字符集字符集：可见字符在保存和传输的时候对应的二进制代码集合。字符集在两个地方用到1.保存数据2.数据传输1.2在存续时使用字符集1、MySQL可以在服务器上、数据库、表、字段上指定字符编码2、在服务器上指定字符编码是安装服务器的时候指定的3、数据库、表、字段上是创建时候指定的create table...
2018-06-26 20:06:48
1058
转载 mysql介绍及基本操作
Lesson_18MySql1.数据库介绍数据库是用来存放数据的,数据不是直接存放在数据库中的,数据库中存放的是表,表中存放的才是数据.所以我们学习就是分为数据的操作,表的操作,数据库的操作.2.数据库的发展史2.1萌芽阶段(文件)所有的存储数据的文件都属于数据库.安全性低.2.2层次模型1.优点:查询分类的数据效率比较高2.缺点: ...
2018-06-26 20:02:57
297
原创 Matplotlib
Matplotlibimport numpy as npimport matplotlib.pyplot as plt目录一、【重点】Matplotlib基础知识二、设置plot的风格和样式1、【重点】点和线的样式2、X、Y轴坐标刻度三、2D图形1、示例2、【重点】直方图3、【重点】条形图4、【重点】饼图5、【重点】散点图============...
2018-06-26 19:29:20
1102
原创 逻辑斯蒂回归
逻辑斯蒂回归假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球 再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多...
2018-06-26 19:04:23
931
原创 LinearRegression
线性回归f(x) = wx + b这个函数的导数就是3， 斜率 代表增长率import numpy as npimport matplotlib.pyplot as pltx = np.linspace(0, 3 * np.pi, 100)# 正弦函数y = np.sin(x)plt.plot(x, y)# 余弦y_daoshu = np.cos(x)p...
2018-06-25 18:54:40
7376
原创 KNN应用
# 预测年收入大于50K的人import numpy as npimport pandas as pdfrom pandas import Series, DataFramefrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import train_test_spl...
2018-06-23 08:50:57
1044
原创 KNN
# K-近邻算法（KNN）K-nearest neighbor K-近邻算法nearest 相近的neighbor 邻居 ## 如何进行电影分类众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问 题。没有哪个电影人会说自己制作的电影和以前的某部电影类似，但...
2018-06-21 19:31:09
2660
原创 Scipy
scipyscipy是基于numpy的import numpy as npimport matplotlib.pyplot as plt数值积分,求圆周率# 3.1415926-927# 通过积分的方式来画圆# x^2+y^2=r^2# f(x) = (r^2 - x^2)^0.5# 假设圆的半径我们知道，r=1X = np.linspace(-1,1,...
2018-06-20 18:42:04
1353
原创 pandas数据映射、聚合和绘图函数
import pandas as pdpd.__version__# 就是pandas模块，对一些汉字，处理不好，版本会继续升级的输出‘0.22.0’# pandas数据处理import numpy as npfrom pandas import Series, DataFrame## 1、删除重复元素### 使用dupli...
2018-06-19 19:14:04
2809
原创 Pandas拼接、数据分析实操
# pandas的拼接操作pandas的拼接分为两种：- 级联：pd.concat, pd.append- 合并：pd.merge, pd.joinimport numpy as npimport pandas as pdfrom pandas import Series, DataFrame## 0. 回顾numpy的级联nd =...
2018-06-15 16:27:21
775
原创 Pandas与傅里叶公式应用
# Pandas与傅里叶公式应用# mysql中有没有丢失的数据# 在mysql中null就是列中的丢失数据# 在pandas中的丢失数据是NaNimport numpy as npimport pandas as pdfrom pandas import Series, DataFrame## 在python中有两种- np.Na...
2018-06-14 19:42:30
891
原创 数组属性和基本操作
数组属性和基本操作np.arange(start=150,stop=0,step=-1)将值倒过来import numpy as np#matplotlib画图的，也可以读取图片import matplotlib.pyplot as pltnp.arange(150, 1, step=-1)输出array([150, 149, 148, 147, 146, 14...
2018-06-12 19:20:19
1199
原创 jupyter和numpy入门
jupyter和numpy入门jupyter1 Jupyter Notebook 的快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。1.1 命令模式 (按键 Esc 开启)Enter : 转入编辑模式Shift-Enter : 运行本...
2018-06-11 19:30:52
1661
原创 Scrapy抓取动态内容、下载图片和导入selenium
Scrapy抓取动态内容、下载图片和导入selenium爬取动态内容在网页中，有些数据是ajax异步加载，而这些数据我们在用爬虫直接抓取页面的时候并不能抓取到这时，我们可以通过直接通过抓取数据接口的方式来获取数据首先在要抓取的页面打开开发者工具进入network下面的XHR，刷新页面抓取异步的数据包分析数据包的url,找到数据加载规则分析数据字段，提取需要的字段信息下面...
2018-06-09 11:09:51
2073
原创 异步I/O续和Scrapy
异步I/O续和Scrapy死锁（deadlock）死锁的四个条件禁止抢占持有和等待互斥循环等待循环引用问题weakref 弱引用"""import weakrefclass A(): passclass B(): passa = A()b = B()# 在这里发生了循环调用，如果不做处理会发生严重的内存泄漏# 所以导...
2018-06-05 20:22:09
1217
原创 协程和异步I/O
协程和异步I/O爬虫中可能会遇到障碍盗链接 不通过别人页面直接访问别人的数据防盗链接中间件 - ‘www.jd.com’ in request.META[‘HTTP_Referer’],以django为例判断这个域名是否在请求头中，如果在说明不是盗链接反防盗链接强行在自己的请求头时，在自己请求头里加上在访问这个页面上一个页面的urlrequests.get(url, h...
2018-06-04 17:28:12
937
原创 模拟提交表单、抓取动态数据、识别验证码
模拟提交表单、抓取动态数据、识别验证码模拟提交表单import requestsfrom bs4 import BeautifulSoupdef main(): resp = requests.get('https://github.com/login') if resp.status_code != 200: return # 得到...
2018-06-01 19:46:00
1087
原创 爬虫并发下载
爬虫并发下载保存在内存# 导入枚举from enum import Enum, uniquefrom queue import Queuefrom random import randomfrom time import sleepfrom threading import Thread, current_threadfrom urllib.parse import u...
2018-05-31 20:53:20
343
原创 Nosql
Nosqlredis 主从复制（读写分离）具体操作在redis的路径下找到sentinel.conf修改配置文件 第69行设置主人的ip 和端口 以及选举是晋升主人需要的票数第71行设置主人的密码，以便哨兵和主人保持连接第98行设置主人崩溃多长时间后重选主人启动哨兵redis sentinel.conf –sentinel在实际工作，会有一个负载均衡器，一个负载均衡器...
2018-05-30 18:49:04
2190
2
原创 数据的采集与解析
数据的采集与解析下载数据 - urllib / requests / aiohttp。解析数据 - re / lxml / beautifulsoup4（bs4）/ pyquery。缓存和持久化 - pymysql / redis / sqlalchemy / peewee / pymongo。序列化和压缩 - pickle / json / zlib。调度器 - 进程 / 线程 /...
2018-05-29 18:26:16
716
原创 爬虫初识
网络爬虫网络爬虫（web crawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。robotsRobots协议，全称是“网络爬虫排除标准”根目录robots.txtwww.baidu.com/robots.txt查看网站规模site:完整url 可以知道一个...
2018-05-28 20:30:08
352
原创 Flask项目总结
Flask项目这次项目，是用flask框架实现一个可以显示租房信息的网站，提供了买家和卖家的入口，一个身份既可以发布房源，也可以根据入住时间，地区查找租房信息，并下订单，完成租房。 接口文档这次项目完全实现了前后端分离，所以在项目我们写了接口文档，以下是其中的一部分"""#这部分文档，为整个项目的文档提供一个目录功能，一般写在主项目文件夹下。### 爱家接口文档...
2018-05-26 11:02:36
923
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人