Steven灬的博客_CSDN博客-Python,Python后端,NLP领域博主

原创 error: Microsoft Visual C++ 14.0 is required问题最佳解决方法

对于程序员来说，经常pip安装自己所需要的包，大部分的包基本都能安装，但是总会遇到包安装不了的问题，预研学习的动力第一步就被安装包给扼杀了。其中最受困扰的就是这个问题：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual……微软就是霸道，看到这个问题上网搜索一下，我都不想解决，感觉需要重装系统才能...

2019-04-19 15:48:26 58485 89

原创 Navicat导出数据库设计文档

SQL如下：SELECT TABLE_NAME 表名, ORDINAL_POSITION 编号, COLUMN_NAME 字段名, COLUMN_TYPE 数据类型, COLUMN_COMMENT 注释, case when COLUMN_KEY = 'PRI' THEN '主键' when COLUMN_KEY = 'MUL' THEN '可以重复'when COLUMN_KEY = 'UNI' THEN '唯一约束' END

2021-03-11 09:18:50 46

原创 Mysql统计每周每月每季度每年不同类型的数量

-- 统计每日SELECT case_type_id,DATE_FORMAT(report_time,'%Y-%m-%d') as m,count(*) as count from `case` where is_simple=1 GROUP BY m, case_type_id ORDER BY m desc;# 每天不同类型的数据量SELECT b.name,DATE_FORMAT(report_time,'%Y-%m-%d') as m,count(*) as .

2021-02-25 09:35:43 155

原创 python计算四分位及绘制箱型图

一、计算四分位#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:ZSW@file:quantile_distance.py@time:2021/02/05"""import pandas as pdimport numpy as np# 读取excle文件excel_data = pd.read_excel("1.xlsx")# print(excel_data)data1 = excel_data.to_dict(or

2021-02-18 13:38:36 270 2

原创 error 554, b‘DTSPM 163 smtp12最佳解决办法

error (554, b'DT:SPM 163 smtp12问题最佳解决方法：首先程序运行报错如下：其中该错误的原因是：•554 DT:SPM 发送的邮件内容包含了未被许可的信息，或被系统识别为垃圾邮件。请检查是否有用户发送病毒或者垃圾邮件；网上百度一下结果为：网易将我们发的邮件当成了垃圾邮件！这时候你只要在发邮件的时候抄送上自己，就再也不会报这个错误了！但是我抄送上自己还是报原来的错误，原因是由于我抄送的格式填错了。。。邮件接收方：格式如下，这里一般不会写错

2021-01-31 09:46:34 59

原创 Python生成验证码图片及验证用户提交的验证码是否正确

正如日常生活中所见，网站、APP一般都需要用户进行注册登录，获取用户登录信息，登录页面除了需要输入正确的用户名和密码，往往还需要对验证码进行验证，验证码有图片验证码、文字验证码、数字验证码等，触发方式有输入的、移动的、点击的、滑动的层出不穷。只有用户名、密码以及验证码偶都输入正确，才能成功登录。那如何随机生成不同的验证码图片以及如何验证用户输入的验证码是否正确，具体步骤如下图：一、流程图： ...

2020-12-18 16:50:42 183 2

原创 Windows下Minio介绍、安装及使用、密码修改

最近在使用minio做图片、文件存储，在使用过程中遇到一些问题，总结记录下来。这里不对minio做过多介绍，具体资料自行查找。1、官网地址https://min.io/2、github地址https://github.com/minio/minio3、windows 服务端下载地址 https://dl.minio.io/server/minio/release/windows-amd64/minio.exe4、安装启动启动一个cmd窗口，进入minio.exe所...

2020-12-06 14:55:53 1140

原创 Python利用Minio API实现文件上传下载、删除等操作

1、 pip安装miniopip3 install minio2、文件目录ImportError: cannot import name 'Minio'pip3 install minio 还是报错ImportError错误。原因是建的文件夹名与pytnon文件minio包重名了，qaq。。。3、连接Minio文件存储服务器#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:ZSW@f.

2020-12-05 14:34:28 1620 2

转载 Python实现AES加密与解密

原文：https://www.cnblogs.com/niuu/p/10107212.htmlAES加密方式有五种：ECB, CBC, CTR, CFB, OFB从安全性角度推荐CBC加密方法，本文介绍了CBC,ECB两种加密方法的python实现python 在Windows下使用AES时要安装的是pycryptodome 模块 pip install pycryptodomepython 在Linux下使用AES时要安装的是pycrypto模块pip install py...

2020-12-05 13:51:12 195

原创 json与simplejson的区别及参数详解

加入python stdlib时间json： 2.6simplejson： 2.4+simplejson比json更新快， simplejson支持的python版本范围更广。simplejson和json的性能：对于转储dumps()，json比simplejson更快。对于加载loads()，simplejson更快。目前正在构建Web服务，dumps()用的更多，因此更为重要 - 故始终首选使用json标准库，其次simplejson；此外，cjson在过去4年没有更新，所以我

2020-12-05 13:40:50 288

原创 PostgreSQL数据库之Count多表统计

PostgreSQL数据库之多表统计法一： union all 语句select count(open_id) FROM legal_vistors_info UNION all select count(1) FROM legal_log WHERE eventinfo='getLocationInfo' UNION all select count(1) from legal_positionsinfores =

2020-11-12 18:49:09 168

原创 Python调用高德地图web服务API实现地址与经纬度批量转换及地图可视化操作

网上在线经纬度批量转换资源（准确度稍微有偏差）：1、经纬度在线查询,地名(批量)查询经纬度,经纬度(批量)查询地名2、经纬度查询，坐标拾取工具高德API官方文档地址：地理/逆地理编码：https://lbs.amap.com/api/webservice/guide/api/georegeo坐标转换：http://lbs.amap.com/api/webservice/guide/api/convert调用高德地图API前，需先申请高德地图key，https:/.

2020-11-09 18:16:28 554 4

原创 Knime入门简单实践

KNIME Analytics Platform是开源的。下载链接：https://www.knime.com/downloads详细安装步骤链接：https://blog.csdn.net/dilifish/article/details/103514503工作台介绍接着选择 File——New——New Knime Workflow，即新建文件，接着就可以慢慢探索踩坑了。连接数据库执行SQL语句获取数据：读取excle文件选择字段进行计算：参考链接：htt.

2020-10-24 15:43:15 428

原创 Django学习笔记：基于Django+sqlite简单实现学生信息管理系统（注册、登录、增删改查）

一、功能实现对学生对个人信息的增删查改；实现后台对所有学生信息的操作；用户登录、注册。二、内容及作用学生信息管理系统 model：学生基本信息表学生登录信息表学生专业成绩表作用：可用于初学者练习三、开发工具 Windows + Pycharm + sqlite + Django四、github地址 https://github.com/WenNicholas/StudentSystem五、基本流程六、代码实现 1....

2020-10-19 19:30:37 1251 4

原创 django根据id查询数据简单接口实现

urls.py：from django.contrib import adminfrom django.urls import pathfrom . import views, test2dburlpatterns = [ path('admin/', admin.site.urls), path('runoob/', views.runoob), path('stu_detail/<student_id>/', views.stu_detail),

2020-10-19 19:16:37 599

原创 django实现数据增删改查操作

数据增删改查操作语句：# 条件查询"""# 增加数据（详见数据导入笔记，里面有多种方法）CourseModel.objects.create(cour_id=11, course='java', grade='95')# 查询所有数据：subject = CourseModel.objects.all()# filter() 方法用于查询符合条件的数据subject = CourseModel.objects.filter(cour_id='20201010')# 获取单个对象(

2020-10-19 19:06:32 302 1

原创 django数据导入(单条导入与批量导入)

数据导入在终端导入有时候有些不方便，我们在最外面那个django_demo目录下写一个脚本，叫 txt2db.py，把 course.txt 也放在django_demo下:course.txt文件：单条导入与批量导入：#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:ZSW@file:txt2db.py@time:2020/10/10"""import osos.environ.setdefa...

2020-10-19 19:00:21 176

原创 django连接数据库sqlite并创建表结构

新建一个django项目：结构如下：注：models.py是自己后新建的py文件新建django_demo/models.py文件：#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:ZSW@file:models.py@time:2020/10/10"""from django.db import models# Create your models here.# 课程表class CourseMod

2020-10-19 18:53:18 328

原创 django基本命令-启动、新建

1、新建一个django projectdjango-admin.py startproject project_name特别是在 windows 上，如果报错，尝试用 django-admin 代替 django-admin.py 试试2、新建app 要先进入项目目录下，cd project_name 然后执行下面的命令（下同，已经在项目目录下则不需要 cd project_name）python manage.py startapp app_name或 django...

2020-10-19 18:45:27 241 1

原创 Python将网页转化为PDF(python网页自动长截图)

初次实践：python网页自动截图步骤如下： (1) 安装python selenium 库，推荐使用pip快速安装最新版本 pip install selenium (2) 检查Chrome浏览器的版本，下载对应版本的chromedriver。 (3) 通过地址栏里输入命令 chrome://version/ 在 http://npm.taobao.org/mirrors/chromedriver/ 的网址上下载对应的ch...

2020-09-16 10:09:47 1404

原创 Python图片批量压缩到指定大小并将JPG转为PNG格式

代写

2020-08-06 10:35:08 491

原创 python实现小程序登录及获取用户信息和手机号

小程序登录：小程序可以通过微信官方提供的登录方法方便地获取微信提供的用户身份标识，进而开发者可以进行下一步操作。登录流程：1、调用 wx.login()接口获取临时登录凭证code（用户登录凭证，有效期5分钟，code 只能使用一次，使用一次后失效）。2、服务端拿到code，调用auth.code2Session接口，获取用户唯一标识openId 、用户在开放平台的唯一标识符unionid，会话密钥 session_key。其中，会话密钥session_key是对用户数据进行...

2020-07-29 18:39:58 1681

原创 PostgreSQL的级联删除(主键删除则外键数据记录同时删除)

背景描述：最近的一个项目中，所涉及的数据库表之间有设置级联关系，即表legal_positionsinfo中的id是表legal_approval的外键。现在有一个功能是根据id删除表legal_positionsinfo中的一条记录。但是在删除时，报错如下：update or delete on table "legal_positionsinfo" violates foreign key constraint "legal_approval_posit...

2020-06-28 17:32:11 1166 1

原创初识NLP在智能客服中的应用

语料准备：智能客服语料在实际生产，语料一般是需要自己爬取，或者垂直领域的语料由客户提供的，这些数据都是需要清洗、预处理的。智能客服中一般工作中的语料准备：1）智能客服领域服务的客户主要涉及领域一般是垂直领域，包括银行、证券、保险、汽车和零售等；2）语料主要是客户客服部门的日志及电话录音；比如对于银行行业的信用卡业务中掌上生活的智能客服，里面的语料积累就是通过人工客服得到的；再比如拨...

2020-05-18 14:08:37 384

原创 pipreqs生成项目依赖包requirements.txt

生成当前环境下所有的安装包：pip freeze #查看当前环境下的安装包pip freeze > requirements.txt#将当前环境下的安装包全部写入requirements.txt文件pip install –r requirements.txt#将requirements.txt文件里的包全部安装生成当前项目文件下所有的安装包...

2020-05-06 09:38:32 129

原创 flask_sqlalchemy常用查询语句总结

flask_sqlalchemy相关查询语句总结：班级表：学生表：返回student表中所有数据并限制返回条数：select……from……limit()result = db.session.query(Student.id,Student.name,Student.gender,Student.age,Student.classes).limit(10)....

2020-04-30 13:41:00 2687 1

原创 flask使用sqlalchemy对sqlite数据库进行增删改查

flask使用sqlalchemy对sqlite数据库进行增删改查代码如下：#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:ZSW@file:test4.py@time:2020/04/27"""from flask import Flaskimport jsonfrom sqlite3test.conf.GetCo...

2020-04-27 19:20:46 687

原创 Selenium自动化爬虫

Selenium爬取淘宝关键词搜索ipad页面信息，并保存到csv文件中：#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:Awen@file:spidertaobao.py@time:2020/04/20"""from selenium import webdriverfrom selenium.common.except...

2020-04-20 19:25:23 306

原创基于Python的Webserver开发之文档分页

相关webService的简介、原理、使用、流程图本文主要是利用python包spyne实现web sevice在实现之前需要安装三个包：spyne，suds，zeeppip3 install spynepip3 install suds-jurkopip3 install zeep注：这里不要pip install suds 这样安装完成后，suds对应的Client是...

2020-04-17 10:14:38 130

转载 pandas中replace函数替换数据部分内容

#!/usr/bin/python# -*- coding: UTF-8 -*-"""@author:ZSW@file:test.py@time:2020/04/16"""#pandas replace替换某个数据的部分内容import pandas as pddf = pd.DataFrame( { '名称':['产品1','产品2...

2020-04-16 10:02:41 1741

原创 tf.kears加载fashion_mnist数据集超时timeout

tf.kears加载fashion_mnist数据集超时报错，代码如下：import tensorflow as tfprint(tf.__version__)print(tf.keras.__version__)fashion_mnist = tf.keras.datasets.fashion_mnist(x_train_all, y_train_all),(x_test, y_t...

2020-04-10 22:28:03 316

转载 Python将图片彩色转化为素描

代码如下：from PIL import Image, ImageFilter, ImageOpsimg = Image.open('3.jpg')def dodge(a, b, alpha): return min(int(a*255/(256-b*alpha)), 255)def draw(img, blur=25, alpha=1.0): img1 = img...

2020-03-20 23:35:49 338

原创 python之cur.fetchall与cur.fetchone提取数据并统计处理

数据库中有一字段type_code，有中文类型和中文类型编码，现在对type_code字段的数据进行统计处理，编码对应的字典如下：{'ys4ng35toofdviy9ce0pn1uxw2x7trjb':'娱乐', 'vekgqjtw3ax20udsniycjv1hdsa7t4oz':'经济', 'vjzy0fobzgxkcnlbrsduhp47f8pxcoaj...

2020-03-15 23:15:10 2112

原创 PostgreSQL实现按秒按分按时按日按周按月按年统计数据

PostgreSQL实现按时按日按月按年统计数据：import datetimefrom dateutil.relativedelta import relativedeltatoday = str(datetime.datetime.now())print(today)print(today[:4], today[:7], today[:10],today[:13])print...

2020-03-06 00:33:58 761

原创 windows10下安装oracle11g及创建表空间、用户及授权

一、windows10下安装oracle 11G详细安装步骤如下：参考链接：https://blog.csdn.net/pancheng1984/article/details/79823467二、建立数据库选中下图中的 Database Configuration Assistant：安装下面链接步骤安装即可。详细安装步骤链接：https://blog.c...

2020-02-07 18:10:05 1209

原创 Neo4j之CQL语句笔记

Neo4j之CQL语句练习、实践笔记整理创建节点和关系：create(b0:人员{name:'张三',age:41,adress:'上海市某区'}) create(b1:人员{name:'张三父',age:66,adress:'上海市某区'}) create(b2:人员{name:'张三母',age:66,adress:'上海市某区'}) create(b3:人员{name:'张三妹...

2019-12-26 16:04:06 133

原创文本自动摘要之Pointer-Generator Networks训练步骤

这程序是ACL 2017 paper *[Get To The Point: Summarization with Pointer-Generator Networks](https://arxiv.org/abs/1704.04368)*Github链接：https://github.com/abisee/pointer-generator第一步：准备训练数据*********...

2019-12-02 19:05:57 771 2

原创 Python实现数据库中根据主键ID进行数据合并拼接

在同一个数据库中，有两张表，主表主键为id，第二张表的主键为pid（id与pid为通用主键，只是在不同的表中可能命名不一样）。这里是以第二张表为中心，根据pid与主表中的id进行匹配，获取某个字段信息，例如身份证号，进行合并拼接，具体代码实现如下：import psycopg2import pandas as pdimport osimport jsondef ge...

2019-11-07 11:20:17 2432

原创文本数据标注工具Doccano

doccano是一个开源文本标注工具。它提供了文本分类，序列标注和序列到序列的标注功能。因此，您可以为情绪分析，命名实体识别，文本摘要等创建标记数据。只需创建项目，上传数据并开始标注。总结下来就3步，上传数据，标注，下载带有标签的数据。命名实体识别第一个演示是序列标记任务之一，命名实体识别。您只需选择文本跨度并对其进行标注即可。由于doccano支持快捷...

2019-10-24 16:46:34 6050 5

原创数据分析初步之数据预处理

有段时间没写博客了，最近一直在忙自己的事。听说今天发一篇原创博客就可以领个勋章，想想没啥可写的，就把之前的学习笔记整理一下，1024，请赐我一枚勋章，哈哈哈……数据分析初步之数据预处理一、生成数据表import numpy as npimport pandas as pd1 导入数据表df = pd.DataFrame(pd.read_csv('name....

2019-10-24 16:22:11 582