- 博客(37)
- 收藏
- 关注
RSS订阅原创 python使用pymysql查询结果返回json
python使用pymysql查询结果返回jsonpymysql转json关键参数 cursorclass=cursors.DictCursor案例import pymysqlfrom pymysql import cursorsdef sql_json(): con = pymysql.connect(host=‘127.0.0.1’, user='oo', password='123456', port=3306,db='myuser',cursorclass=cursors.D
2022-04-06 15:23:21
5075
转载 nginx 403 forbidden错误
nginx访问时报403，于是查看nginx日志，路径为/var/log/nginx/error.log。打开日志发现报错Permission denied，详细报错如下：open() “/data/www/1.txt” failed (13: Permission denied), client: 192.168.1.194, server: www.web1.com, request: “GET /1.txt HTTP/1.1”, host: “www.web1.com”没有权限？于是找了不少
2021-05-25 09:43:32
208
转载 openCv createTrackbar
openCv createTrackbar代码案例与参数解析def opencv_ctb(): # 创建颜色变化的轨迹栏 ''' 参考链接 https://blog.csdn.net/cpx808/article/details/78039730 --- shu biao can shu jie xi createTrackbar： R：滑动空间的名称； image：滑动空间用于依附的图像窗口的名称； 0：初始
2021-04-19 11:04:21
261
原创 docker中备份mysql与导入新库
docker备份 mysql 导入导出1 进入docker容器中sudo docker exec -it 容器名称 bash2 备份数据库中的表mysqldump -uroot -p -t dbname tablename1 tablename2 tablename3 > /opt/db_bac.sql3 退出容器exit4 将备份的sql文件复制出来sudo docker cp 容器名称:/opt/db_bac.sql 复制的路径5 将复制的sql文件复制进新的容器中，
2021-04-13 16:10:22
189
原创 opencv 画图函数简介
opencv 画图Cv 画直线cv.line(img, (20, 100), (80, 100), (222, 111, 90), 5) Img : 所要画直线的画板 (20, 100)：直线初始坐标 (80, 100)：直线的终止坐标 (222, 111, 90)：直线的颜色 ----RGB数值 5：直线的宽度，此值不能为负数Cv 画矩形cv.rectangle(img, (20, 40), (140, 160), (10, 155, 40), 5) Img：
2021-04-02 14:49:42
347
2
转载 K-Means 聚类算法 参数解析
K-Means聚类算法的原理流程：第一步：确定K值，聚类成K个类簇。第二步：从数据中随机选择（或按照某种方式）K个数据点作为初始分类的中心。第三步：分别计算数据中每个点到每个中心的距离，将每个点划分到离中心最近的类中第四步：当每个中心都划分了一些点后，去每个类的均值，选出新的中心。第五步：比较新的中心和之前的中心，如果新的中心和之前的中心之间的距离小于某阈值，或迭代次数超过某阈值，认为聚类已经收敛，终止。第六步：否则继续迭代执行第三到五步，直到第五步满足。函数原型：retval, bes
2021-04-01 15:08:23
2256
原创 python opencv addWeighted，medianBlur TermCriteria方法解析
opencv addWeightedaddWeight 运行公式 + 参数 解析img = cv.addWeighted(img1,0.7,img2,0.3,0) 四个参数： 1. img1 经过imread处理过的 数组对象 type 为 <class 'numpy.ndarray'> 2. 0.7 融合图片时，img1的权重 3. img2 经过imread处理过的 数组对象 type 为 <class 'numpy.ndarray'> 4.
2021-03-29 10:50:02
424
2
原创 opencv 图片处理之 png 转 jpg
opencv 将 png 转 jpg代码案例将单条png转为jpgdef one_png_jpg(): import cv2 img = cv2.imread('/home/uu/桌面/cpfile/a.png') cv2.imwrite('/home/uu/桌面/cpfile/a1.jpg', img)代码案例将当前目录下所有png都转为jpgdef png_jpg(): import os import cv2 path = "/home/uu
2021-03-23 17:42:16
3511
原创 nginx log文件 json格式配置详解
nginx log文件输出— json格式配置详解 log_format json '{ "@timestamp": "$time_iso8601", ' '"remote_addr": "$remote_addr", ' # 客户端的ip地址 '"remote_user": "$remote_user", ' # 客户端用户名称 '"body_bytes_sent": "$bo
2021-03-19 10:06:49
1262
原创 python 浮点数计算
python 浮点数计算之---------------- 减法class float_subtraction(): def __init__(self, _sbt, _mnd): self._mnd = _mnd self._sbt = _sbt self.b_sbt = _sbt if _sbt > _mnd else _mnd self.s_mnd = _sbt if _sbt < _mnd else _mnd
2021-03-18 15:22:48
1440
转载 es from+size scroll search_after 分页查询解析
From+Size1.1 基本用法查出第 6~8 笔数据 GET /my_index/_search { "from": 5, "size": 3 }from：表示记录开始的顺序，默认0size：表示取回几笔数据，默认10from+size 默认不能超过10000，可以通过修改索引参数index.max_result_window调整1.2 基本原理协调节点将查询请求发送给所有分片各分片收到请求后，查出 from + size 的数据，并返回给协调节点。例如..
2021-03-17 11:40:35
1551
原创 docker elk nginx日志收集
docker elk nginx日志收集docker pull sebp/elk编辑nginx配置文件（路径：/etc/nginx/nginx.conf）对输出日志格式化成json log_format json '{ "@timestamp": "$time_iso8601", ' '"remote_addr": "$remote_addr", ' '"remote_user": "$remote_user", '
2021-03-12 13:51:17
169
原创 python+ elasticsearch + lucene使用
elasticsearch,lucene结合使用案例from elasticsearch import Elasticsearches = Elasticsearch([{'host':'ip地址','port':9200}, timeout=1000]) # 连接es,设置超时时间1000秒 '''如果需要用户名密码认证，加上 http_auth=('root', '111111') 参数 root用户名 111111 密码'''查询案例es.search(index='test',
2021-02-19 10:14:56
441
转载 pandas read_sql read_sql_query read_sql_table 区别
https://www.cnblogs.com/cymwill/p/8289367.html
2021-01-28 09:58:07
1833
原创 python 运行sh脚本 实现自动化关机
关闭当前计算机close_computer.sh文件内容展示#! /bin/bashshutdown -h now远程关闭服务器案例close_computer.sh文件内容展示#! /bin/bash#echo "本地计算机密码"|sudo -S apt-get install sshpass#wget http://sourceforge.net/projects/sshpass/files/sshpass/1.05/sshpass-1.05.tar.gz#tar xvzf ssh
2021-01-26 17:58:15
514
原创 pandas read_sql_table使用
read_sql_table 从mysql数据库读出数据 并转json案例def pd_readsqltable(): import pandas as pd import json a = pd.read_sql_table('myproject', 'mysql://root:123456@172.17.0.2:3306/zhongyi') print(a, 'a------------------') print(type(a), 'type(a)-----
2021-01-26 17:12:34
2194
原创 shell脚本 循环语法
shell while 语法touch test.shtouch test.txtvim test.txttxt 内容展示name aaage 11sex boyvim test.shsh 内容展示#! /bin/bashwhile read KEY VALUEdo eval "${KEY}=${VALUE}"done <test.txtecho "$name $age $sex"sh test.sh运行结果展示aa 11 boy...
2021-01-15 14:37:11
128
原创 shell 脚本 eval使用
shell .sh eval 使用简介1 开头 — #! /bin/basheval — 对命令二次扫描，确认为普通操作，相当于 echo，若扫描到其中有变量转换，则会将变量转换后显示touch test.sh （创建名为test.sh的文件）touch test.txt （创建名为test.txt的文件）vim test.txt （编辑此文件）txt文件内容hhhhhhvim test.sh （编辑此文件）案例（sh文件内容）#! /bin/bas
2021-01-15 10:52:03
2392
原创 python elasticsearch使用
python elasticsearch操作案例import datetimefrom elasticsearch import Elasticsearchfrom celery_task.celery import appdef escon(): es = Elasticsearch( ['localhost:9200'], # 连接集群，以列表的形式存放节点的ip地址 sniff_on_start=True, # 连接前测试 sn
2021-01-13 10:44:15
167
原创 python xlrd 拆分已合并的单元格
python xlrd 拆分已合并的单元格xls 或者 xlsx 均可使用文件格式代码案例def chai_excel(): import xlrd workbook = xlrd.open_workbook('/home/uu/桌面/text.xlsx') worksheet = workbook.sheet_by_index(0) # 填写读取的子文件 data = [] for rx in range(worksheet.nrows):
2021-01-12 15:01:33
735
原创 python 数据写入excel txt
数据写入 excel案例def add_test_excel(): import openpyxl writebook = openpyxl.Workbook() # 打开一个excel sheet = writebook.create_sheet(index=0) num = 1000000 for i in range(num): sheet.write(i, 0, '红红火火嘿嘿嘿嘿嘿嘿嘿嘿嘿嘿') # 写入excel，i行0列
2021-01-05 17:37:52
156
2
原创 pandas read_excel 入库mysql
pandas read_excel案例def save_data(): conn = pymysql.connect(host='localhost', user='root', password='123456', port=3306,db='test') cur = conn.cursor() insert_sql = f"insert into table (tgt,src) values " df = pd.read_excel('冬.xlsx') pri
2021-01-05 17:27:05
83
原创 excel读取数据写入mysql
excel------mysql(20万添加一次)path(文件路径) tablename(数据库表名)def add_data(path,tablename): from datetime import datetime import pymysql conn = pymysql.connect(host='localhost', user='root', password='mysql', port=3306, db='
2021-01-05 17:15:41
161
原创 python 处理特殊字符转换
pymysql------escape_stringescape_string 方法直接将字符串中的特殊字符，进行转译功能，使用极其方便案例conn = pymysql.connect(host='localhost', user='root', password='123456', port=3306,db='test') #连接数据库cur = conn.cursor()Str1=”hcsi /’ncjdn \’dscjnc”Str2=”hcsi /’ncjdn \’ds\\\///c
2021-01-05 15:32:09
1161
原创 dockerfile+docker-compose + nginx +uwsgi 部署flask后端项目
项目目录摆放示例1 pip freeze > requirements.txt 自动生成此文件（安装环境依赖包）2 创建test 下的Dockerfile 文件# Use the Python3.6 image# 使用python 3.6作为基础镜像FROM python:3.6.8# Set the working directory to /app# 设置工作目录，作用是启动容器后直接进入的目录名称ENV TZ=Asia/ShanghaiWORKDIR /app# Co
2020-12-07 15:24:35
547
转载 matplotlib 绘图 中文乱码 0.5
在终端python 的环境下，查看字体路径1 import matplotlib2 print(matplotlib.matplotlib_fname())下载simhei.ttf ，放到指定目录下，例如我的目录为： /home/muli/anaconda3/lib/python3.5/site-packages/matplotlib/mpl-data/fonts/ttf在home目录下，执行 ctrl + h ，打开隐藏目录， 删除 ~/.cache/matplotlib的缓冲目录修
2020-12-07 15:13:40
70
原创 docker nginx部署前端js+html项目
1 docker nginx部署前端项目2 安装docker3 Docker pull nginx4 Docker run –it –p 8989:80 –name test –v /var/www/html/dist:/usr/share/nginx/html/ –v /etc/nginx/sites-available/default:/etc/nginx/conf.d/default.conf nginx创建一个以nginx镜像为基础的名为test容器 映射端口为8989
2020-12-07 15:04:38
723
原创 mysql端口开放及中文显示乱码问题
Mysql 无法显示中文乱码问题show variables like ‘character%’; （查看mysql支持的编码）mysql -uroot -p --default-character-set=utf8 （编码设置为utd8 进入mysql）mysql开启3306端口远程连接命令一 mysql -u root -p二 use mysql三 update user set host=’%’ where user=‘root’ and host=‘localh
2020-12-07 14:48:51
148
原创 bs4 的使用方法 以及案例
BeautifulSoup 使用步骤:from bs4 import BeautifulSoupsoup = BeautifulSoup(res.text, ‘lxml’)tag = soup.select(“CSS选择器表达式”) # 返回一个列表```Python# CSS选择器:1.根据节点名及节点层次关系定位标签: 标签选择器 & 层级选择器soup.sel...
2019-08-16 15:31:22
831
原创 xpath用法以及 使用案例
xpath语法:1.常用规则:1. nodename: 节点名定位2. //: 从当前节点选取子孙节点3. /: 从当前节点选取直接子节点4. nodename[@attribute="…"] 根据属性定位标签5. @attributename: 获取属性6. text(): 获取文本2.属性匹配两种情况: 多属性匹配 & 单...
2019-08-16 15:20:19
316
原创 qq空间模拟登陆
from selenium import webdriverimport time实例化浏览器对象browser = webdriver.Chrome(’./chromedriver.exe’)打开qq空间登陆页面browser.get(‘https://qzone.qq.com/’)time.sleep(1)转至frame子页面browser.switch_to.frame(‘l...
2019-08-16 15:13:26
5607
原创 用于保存图片或视频的文件
一、管道存储操作import scrapyfrom scrapy.pipelines.images import ImagesPipelineclass XhxhPipeline(object): def process_item(self, item, spider): return itemclass ImgPipeLine(ImagesPipeline):...
2019-08-12 20:46:25
449
原创 MongoDB 与Mysql交互 存储数据标准
一、MONGODB交互：import Pymongoclass MongoPipeline(object):@classmethoddef from_crawler(cls, crawler): return cls( mongo_url=crawler.settings.get('MONGO_URI'), mongo_db=crawler.sett...
2019-08-12 20:17:38
245
原创 redis分布式使用
一、创建一个项目① scrapy startproject 文件名② cd 文件名③ scrapy genspider -t crawl 爬虫文件名 www.baidu.com二、在爬虫文件中操作，爬取需要的内容from scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, ...
2019-08-12 20:05:31
95
原创 selenium 的应用
1、selenium 使用① 导包from selenium import webdrive② 实例化浏览器对象browser = webdrive.Chrome(’./chromedriver.exe’)③ 获取要查找的对象idlogin = browser.find_selenium_by_id(‘获取的login页id’)④ 进行点击/发送消息操作点击： login.cli...
2019-08-07 20:23:42
185
原创 http和https 的简单理解
1、http 和 https的区别：http：明文传输，端口号 80 因此http不适合传输一些敏感信息，eg：信用卡号，密码等https：加密传输，端口号 443http：是一种超文本传输协议，是互联网上应用最为广泛的一种网络协议。所有的www文件都必须遵守这个标准https：https并非是应用层分一种新协议，只是http通信接口部分用SSL（安全套接字层）和TLS（安全传输层协议...
2019-08-07 20:17:38
177
原创 代理ip 的简单理解
1、 什么是代理？透明代理IP 匿名代理IP 高匿代理IP（一般都是使用的高匿代理）2、代理包括：① 透明代理：服务器知道你用了代理IP，也能获取你的本机IP② 匿名代理：服务器知道你用了代理，获取不了你的本机IP③高匿代理：服务器不知道你用了代理，并且不能获取你的本机代理3、为什么要使用代理IP？在爬虫的过程中，我们经常会遇见很多网站采取了防爬取技术，或者说因为自己采集网站信...
2019-08-07 20:02:41
247
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人