- 博客(68)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Mysql索引 ——— 读高性能mysql总结
在mysql中，索引在存储引擎层而不是服务器层实现的。索引的类型B-Tree索引哈希索引空间数据索引（R-Tree）全文索引聚簇索引覆盖索引压缩(前缀压缩)索引冗余和重复索引
2021-03-07 21:15:06
210
原创 数据预处理——以银行借贷评分卡项目为例
一、数据预处理1、读入数据import numpy as npimport pandas as pdimport matplotlib.pyplot as pltdata=pd.read_csv(r'rankingcard.csv',index_col=0)data.head()看一下冰山一角的真实数据，像年龄，收入这样连续型的数据，肯定是需要先做个分箱操作的(先提一下)。2 、简单的预处理去重重置索引填补缺失值这里家庭成员数（NumberOfDependents）直接使用
2020-11-25 20:58:31
1266
9
原创 逻辑回归——乳腺癌分类
逻辑回归的数学原理逻辑回归是一种二分类的有监督学习算法。对数几率回归。损失函数采用最大似然函数的负对数。使用梯度下降算法找最优参数。对conda 自带数据集分类导包读数据划分训练集和测试集import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.datasets import load_breast_cancerfrom sklearn.model_s
2020-11-20 20:14:52
2896
原创 朴素贝叶斯——新闻分类
使用朴素贝叶斯对新闻进行自动分类。导包import numpy as npimport pandas as pdimport jieba读入数据，删除空值。df_techology=pd.read_csv(r'bayes/technology_news.csv')df_techology=df_techology.dropna()df_car=pd.read_csv(r'bayes/car_news.csv')df_car=df_car.dropna()df_entertainme
2020-11-19 20:57:24
1835
2
原创 conda安装包报PackagesNotFoundError错误
先查找包(base) bash-3.2$ anaconda search -t conda sklearn返回包的相关信息根据对应的包的包名使用如下命令(base) bash-3.2$ anaconda show corjos/sklearn-pandas会直接给出安装命令 conda install --channel https://conda.anaconda.org/corjos sklearn-pandas...
2020-11-17 12:00:01
1410
原创 决策树算法——拟合优化
一、决策树算法原理上一篇文章简单、直接、粗暴的使用了决策树算法对鸢尾花数据集进行分类，关于决策树算法的原理，以我的理解：就是用能最大概率的区分不同类别标签的特征值作为分裂节点。常用的算法是：CART 和 ID3 算法。CART 算法采用gini系数最小的来决定使用哪种特征来进行分裂；ID3算法采用信息增益最大的特征来决定使用哪种特征来进行分裂；二、决策树的最优参数这次的数据集使用稍微复杂一点的泰坦尼克号预测生死的数据。重复的代码不啰嗦，直接上import numpy as npimport
2020-11-12 19:43:04
3881
原创 决策树算法入门——鸢尾花数据集
训练决策树模型话不多说，数据分析必备的三个包先导入import numpy as npimport pandas as pdimport matplotlib.pyplot as plt导入机器学习算法的决策树模块，数据使用jupyter自带的鸢尾花数据集from sklearn import datasetsfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.model_selection import train_te
2020-11-11 20:45:04
3265
8
原创 关于Mac电脑conda打开终端报：anaconda/navigator/a.tool: line 1: syntax error near unexpected token `(‘ 错误
在conda中打开终端打开后有一个错误这个错误原因是因为Mac环境是zsh,需要切换成shell环境。关掉终端，从新打开输入下面的命令chsh -s /bin/bash然后需要输入密码验明身份再次再conda中打开终端，可用了。然后输入命令即可运行pip install jupyter_contrib_nbextensionsjupyter contrib-nbextension install --user...
2020-11-02 17:13:39
781
1
原创 在本地使用服务器上的虚拟环境远程调试代码
将本地的虚拟环境更改为服务器上的虚拟环境选择SSH建立安全的远程连接因为我之前已经配置过了，所有直接选择下面的已经存在的服务配置。配置过程点这然后点击move之后，才能点击next解释器选用服务器上创建虚拟环境的解释器选择完成后大概长这个样子在 run 模块下查看虚拟环境是否部署为服务器环境了在本地修改/运行代码之前，重复这个步骤(配置映射路径和忽略文件)...
2020-10-24 22:21:57
447
原创 项目上线之——Nginx路由请求到uWSGI（动静分离）
修改uwsgi.ini 配置文件(venv) [root nginx]# cd /root/project(venv) [root project]# vim conf/uwsgi.ini 1 [uwsgi] 2 # 配置守护进程 3 master=true 4 # 配置进程数量 5 processes=2 6 # 配置项目目录 7 chdir=/root/project/code/teamwork 8 # 配置python解释器路径 9 pythonpath=/
2020-10-23 10:36:53
272
原创 docker的安装及镜像文件的增 删 查
结束之前的进程，仅留22端口的ssh[root ~]# systemctl stop nginx[root ~]# pkill -9 uwsgi[root ~]# pkill -9 redis-server[root ~]# netstat -ntlp更新系统底层的库文件[root ~]# yum update移除可能存在的旧的docker版本[root ~]# yum erase -y docker docker-common docker-engin安装yum工具包和dock
2020-10-23 10:25:57
142
原创 项目上线之——配置和启动Nginx
在本地文件中新加了配置将代码push到远端仓库后，首先将服务器上的uwsgi停掉(venv) [root teamwork]# pkill -9 uwsgi进入到项目代码所在的文件夹(venv) [root code]# cd teamwork/从远端将代码pull下来(venv) [root teamwork]# git pull将静态资源转移到/root/project/static目录下让Nginx来管理(venv) [root teamwork]# python manage
2020-10-22 18:00:41
344
原创 项目上线之——部署服务器
项目开发完成以后，合并代码成果到master分支。部署到云服务器上运行。首先，在服务器上创建文件夹放项目 mkdir -p project/{code,conf,logs,static}将代码部分克隆到code文件夹中cd project/cd codegit clone git@gitee.com:zhangyao97/teamwork.git在刚刚克隆下来的teamwork文件夹中部署项目的虚拟环境cd teamwork/virtualenv --python=$(wh
2020-10-22 13:22:50
344
5
原创 使用Flask写接口并部署到服务器上运行
项目三大架构逻辑架构（业务架构）–》思维导图（整理用户故事）技术架构（前端 后端 数据库 缓存 消息队列 搜索引擎…）开发语言：python框架：Django、物理架构（如何部署项目–》有没有云服务器？多少台？）Nginx/Apache/Tengine -->静态资源服务器Gunicorn/uWSGI运行python程序的服务器（提供动态内容）Django3支持异步编程 --》DAphne/本地运行from flask import Flask, jsonifyapp =
2020-10-21 13:08:15
10150
4
原创 使用JWT验证用户身份
安装 json web tokenpip install pyjwt导入 json web tokenimport jwt用户登录成功后，将需要的用户数据放入payload中，通过jwt的encode函数生成身份令牌，然后签发身份令牌。import jwt@api_view(('POST', ))def login(request): hint = request.GET.get('hint') or '' if request.method == 'POST':
2020-10-13 20:20:55
758
原创 将文件上传到七牛云
下载七牛云SDKpip install qiniu配置上传密钥，上传空间定义上传文件/二进制文件的函数import qiniuAUTH = qiniu.Auth( '2tnO1EafA4nxxccvdMaTERpSrSXpFmvccPCuBE4r', '-KreVA7Wi0Gsd6RfCgWEu76rgzcikr_q96y_-UAY')BUCKET_NAME = 'yaoyao123'# 普通文件上传函数（大文件）def upload_file_to_qiniu(
2020-10-13 19:25:38
377
原创 使用celery执行异步定时任务
苹果：ctrl+c 停止pycharm terminalWindows：点叉叉ctrl+d 结束输入atq 查看atrm 删除crontab -e分时日月星期task 函数名schedule：时间 克隆表定时任务函数from datetime import timedeltafrom django.utils import timezonefrom polls.models import Userfrom vote import app@app.taskdef chec
2020-10-12 20:11:06
129
原创 绕过Django ORM机制写原生sql语句
调用raw方法写原生sql语句def show_index(request): queryset = Subject.objects.raw('select no, name, intro from tb_subject where is_hot=1') return redirect('/static/html/subjects.html')使用get_connectio方法绕过Django的ORM机制(纯原生)from django.db.transaction import g
2020-10-12 11:25:46
421
1
原创 两种开启mysql慢查询日志方式
查看mysql慢查询日志是否开启mysql> show variables like 'slow_query%';+---------------------+-------------------------------------------------+| Variable_name | Value |+---------------------+-----------------------
2020-10-12 11:10:37
158
原创 使用celery异步处理消息
安装celerypip install celery在vote的__init__.py文件中（写在这里可以自动执行）import celeryimport os# 注册环境变量os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'vote.settings')app = celery.Celery( # 指定模块名字（包的名字） main='vote', # 消息队列 broker='redis://:redi
2020-10-10 17:46:06
195
1
原创 Python中set和dict底层实现原理——重写相等性判断
创建一个类，然后创建三个对象。class Person: def __init__(self, name, age): self.name = name self.age = age def __repr__(self): return f'{self.name}: {self.age}'p1 = Person('勤勤', 20)p2 = Person('勤勤', 20)p3 = Person('勤勤', 18)persons
2020-09-28 20:02:13
572
1
原创 数据库的完整性和一致性
递归公式，第n次与第n-1次的关系收敛条件，何时停止递归调用，无限递归会触发递归错误缓存函数执行的中间结果，空间换时间优化程序结果@lru_cache（）默认 restrict 不能删除 不能更新级连 cascade设置为空 set nullalter table tb_emp add constraint fk_emp_dno foreign key(dno) reference tb_dept (dno) on delete cascade on update cascade;
2020-09-23 19:52:19
5819
原创 数据库用户授权与视图
select /from /where and or not liek between and /group by/having/ order by (asc desc)/ limit / offsetgrant to/ revoke frommysql> flush privileges;Query OK, 0 rows affected (0.00 sec)mysql> grant all privileges on . to ‘yaoyao’@’%’ with grant opti
2020-09-23 17:38:20
1042
原创 装饰器的应用与取消
装饰器是一个函数，它可以装饰其他的函数或类并为其提供额外的功能GoF设计模式（在特定场景下可以复用的设计经验，一共23种经典的场景）装饰器实现了设计模式的代理模式，用代理对象执行被代理的行为并添加额外的功能代理模式通常解决的都是程序横切关注功能问题（跟正常业务逻辑没有必然联系的功能）import randomfrom functools import wrapsdef change_return_value(func): # 可以随时取消掉装饰器 @wraps(func)
2020-09-23 12:51:36
267
原创 mysql 函数和过程
函数和过程最好在程序中做-- 修改代码结束符delimiter $$create FUNCTION display_level(sal int)returns varchar (10)begin if sal < 4000 then return 'low'; elseif sal <7000 then return 'normal'; else return 'high'; end if; end$$delimiter ;select ena
2020-09-23 12:46:29
214
原创 数据库并发操作可能出现的问题及解决方式
并发操作可能出现的问题两类丢失更新脏读 没提交就读到幻读如何处理锁机制：事务隔离级别 自动加锁读未提交 – 会发生脏读读提交 – 会发生不可重复读，不会读到脏数据可重复读 – 重复读到之前的数据。在一个事务中。测试不同隔离级别下并发操作出现的问题开启事务环境mysql> begin; start transaction ;commit ;rollback;查看 更改事务mysql> select @@tx_isolation;mysql> set se
2020-09-23 10:31:58
6301
1
原创 Django 中的 ORM 机制
什么是ORMObject Relation Mapping 即对象关系映射。实现对象模型到关系模型的双向转换。pythonmysql对象模型关系模型模型类数据库的二维表模型类的对象表中的一条记录使用ORM通过表自动生成模型 python manage.py inspectdb > polls/models.py记得在APPS里添加项目名字进入Django的编译器 python manage.py shell然后即可在Django的编译器
2020-09-22 19:50:40
228
原创 PyCharm中一条命令的事儿
一条命令设置全局豆瓣镜像 pip config set global.index-url https://pypi.doubanio.com/simple一条命令生成依赖项文件pip freeze > requirements.txt一条命令安装所有依赖项 pip install -r requirements.txt
2020-09-22 18:58:14
129
原创 Django安装和做本地仓库免密配置
一、在终端中安装Djangopip3 install django==2.2.16 django-admin --versiondjango-admin startproject hellodjango二、先在本地初始化一个仓库，再添加到远端中（已经做过免密配置）cd hellodjangogit init git remote add origin git@gitee.com:zhangyao97/hello-django.git本地免密配置三、pycharm中安装
2020-09-21 20:04:20
120
原创 在天行数据通过API拿到数据并放入数据库
先创建数据库与表，记得设置字符编码为utf8。否则存中文会报错。create database news DEFAULT CHARACTER set utf8;create table tb_newslist (id int AUTO_INCREMENT PRIMARY KEY,title VARCHAR(100) DEFAULT '',url VARCHAR(150));通过requests获得数据，连接数据库，并将数据写入。import requestsimport pymysql
2020-09-19 17:46:44
737
2
原创 mysql设置级连删除｜级连更新
以学习数据库入门的学生表与学院表为例。学生表以学号为主键，学院表以学院编号为主键。学生表中的学院编号参照学院表，作为学生表的外键。现在的需求是：删除学院表中的学院，所属学院的学生在学生表中同时被删除。-- 查看创建学生表的语句SHOW create table tb_student;-- 创建学生表语句create table tb_student(stuid integer not null comment '学号',stuname varchar(20) not null com
2020-09-19 15:36:33
388
2
原创 python递归函数使用@lru_cache()装饰器缓存中间计算结果
很多复杂的问题在没有发现明显的计算规律的时候，也许使用递归能帮我们得到答案。使用递归的条件：递归公式：第n次与第n-1次的关系收敛条件：何时停止递归调用，无限递归会触发递归错误(溢出)举一个简单的例子：计算n的阶乘 n!=n*(n-1)!def factorial(n): if n == 0: return 1 else: return n * factorial(n-1)for i in range(1,101): print(f'{
2020-09-19 10:27:55
508
原创 如何使用mysql的函数帮助
查询 函数用法mysql> ? functionsmysql> ? Control Flow Functionsmysql> ? IF FUNCTION查询学生性别，将数据库中的01显示为男女select stuname as 姓名,case stusex when 1 then '男' when 0 then '女' else '未知'end as 性别 from `tb_student`;根据学生出生日期算学生年龄select stuname,floor(dated
2020-09-18 09:51:12
332
原创 mysql查询进阶——员工表与部门表连接查询
如下是员工表与部门表的表内容。查询月薪最高的员工姓名和月薪（子查询）select ename, sal from tb_emp where sal = ( select max(sal) from tb_emp);-- 如果月薪最高的员工有多个，则结果不正确。-- select ename, sal from tb_emp order by sal desc limit 1;查询员工的姓名和年薪((月薪+补贴)*13)有的员工没有补贴，且值为null,因此需要对null做处理，如果值
2020-09-17 23:50:22
5212
2
原创 mysql随笔-01
IOE --> IBM小型机 Oracle数据库，EMC存储设备2008年 阿里去IOE运动x86 通用服务器mysql 社区版 免费fastDFS --> 分布式文件系统雪花算法 snowflake 分布式自增范式理论：规范级别1NF ：列是原子列，不可再分；2NF ：主键，不是主键的列必需依赖于主键3NF ：不是主键的列直接依赖主键，而不是传递依赖。学生依赖学号，学院依赖学院编号。分表。BCVF范式级别越高，查询越慢。商业项目一般加这些字段：create_time；
2020-09-17 23:19:03
107
原创 云服务器上操作mysql数据库——查命令｜修改表
创建数据库创建数据库需要注意，mysql默认latin1编码，保存中文会出现编码黑洞(中文显示为问号)，如果数据库会存入中文，那么一定要记得指定字符编码为utf8。mysql> create database school default charset utf8;在mysql中查所有命令帮助mysql> ?查询具体命令的使用帮助mysql> ? show查询所有的数据类型mysql> ? data types;查询表结构mysql> show
2020-09-15 20:25:26
374
原创 更改服务器上mysql root初始密码，并对密码规则进行设置
首先启动mysql，守护进程后面加dsystemctl start mysqld连接mysqlmysql -u root -p如果安装的时候没有设置密码，不知道登陆密码。mysql日志中有设置临时密码。[root ~]# cat /var/log/mysqld.log | grep password将红色方框中的临时密码拷贝下来，登入mysql，然后修改一个能记住的密码。mysql> alter user 'root'@'localhost' identified by 'Tia
2020-09-15 17:45:16
564
原创 使用Gitee做远端仓库并做免密配置
全球最大的代码托管平台GitHub，因为网速实在太慢了，换了个国内的Gitee，速度还行。今天就来总结一下如何将本地代码放到远端仓库，并做免密设置。首先，得有个码云的账号吧，如果没有先注册。注册好了，首页右上角有个 ➕ 号，点击新建仓库。建好仓库以后，进入仓库，会看见有两种连接方式。一、 HTTPS 远程连接点击右边的复制，复制HTTPS地址。选用HTTPS的连接方式每次都需要输入码云的用户名和密码。在Linux系统中执行添加远端仓库，origin是对后面地址的别名，建议就使用origi
2020-09-14 20:57:15
3206
原创 修改远端仓库地址后，执行push报:[remote rejected] master -＞ master (shallow update not allowed)
在添加远程仓库的时候，删除了旧的仓库地址，添加了新的地址，再次push的时候，报了[remote rejected]错误，好像你已经使用了 git clone --depth< number> 克隆你的本地版本。这会导致浅层克隆。这样一个克隆的一个限制是你不能将它推送到一个新的存储库中。这意味着你必须 unshallow 你的库。git remote add old< path-to-old-remote> ;之后，我们使用 git fetch 来获取旧遥控器上的剩余历史记
2020-09-14 19:40:14
5267
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人