biebazijidanghuishi的博客

点进报错文件添加：print(app_label + " " + self.model_name_lower + " " + self.name,11111111111111)解决办法：根据输出信息，找到最后一个app，然后注释对应的行。

【代码】python3协程（自我学习总结）

show variables 查看数据库配置找到bulk_insert_buffer_size参数加大mysql配置中的bulk_insert_buffer_size，这个参数默认为8MSET bulk_insert_buffer_size = 100 * 1024 * 1024; #100M#1024 * 1024=1m修改该条记录有助于千万级别数据批量插入。self.cursor.executemany(sql_p, ry)#数据库批量插入：sql_p为sql语句，ry为数据数组里放多

一、滑动验证码from selenium import webdriverbrowser = webdriver.Chrome()# 驱动Chrome浏览器打开滑动验证码示例页面browser.get('http://www.porters.vip/captcha/sliders.html')# 定位滑块hover = browser.find_element_by_css_selector('.hover')action = webdriver.ActionChains(browser

import base64import jsonimport requestsheaders = { 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep-alive', 'Cookie': 'ASP.NET_

import hashlibimport randomimport timetim = int(time.time())action = ''.join(random.sample('0123456789', 5))randstr = ''.join(random.sample([chr(_) for _ in range(65, 91)], 5))info = action+str(tim)+randstrmy_md5 = hashlib.md5(info.encode()).hexdige

CURRENT_TIMESTAMP

Linux/Centos7账号与权限管理（超详细实例操作）

修改Centos7用户默认家目录vim /etc/default/useradd# useradd defaults fileGROUP=100HOME=/home #改这里INACTIVE=-1EXPIRE=SHELL=/bin/bashSKEL=/etc/skelCREATE_MAIL_SPOOL=yescentos添加普通用户流程添加普通用户[root@localhost ~]# adduser dadi密码[root@localhost ~]# passwd dadi

centos下做mysql data 目录迁移时，按照网上教程操作完毕，遇到重启一直失败，解决办法：一直怀疑是linux mysql安装不正确，其实早就安装成功了。/etc/selinux/config里修改SELINUX=disabled后，再reboot就可了 记得一定要reboot！！！！！！！...

//获取前一天SELECT * FROM 表名 WHERE DATE(时间字段) =DATE_SUB(CURDATE(),INTERVAL 1 DAY) //获取前两天、、、、依次类推SELECT * FROM 表名 WHERE DATE(时间字段) =DATE_SUB(CURDATE(),INTERVAL 2 DAY) //获取当天SELECT * FROM 表名 WHERE DATE(时间字段) =DATE_SUB(CURDATE(),INTERVAL 0 DAY)范围select

# 如果你只想为当前用户设置，你也可以去掉下面的"--global"选项pip config --global set global.index-url https://mirrors.aliyun.com/pypi/simple/以下是国内比较主流的pypi镜像源：阿里云 https://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣 https://pypi.douban.c

1，网络原因解决办法：用镜像源安装pip install -i https://pypi.douban.com/simple [包的名字]升级pippython -m pip install --upgrade pip2.镜像源安装依旧失败卸载现有python ,选择低版本Python 降低python板块！！！！！！！！！...

import urllib.parse#解码escape_str = '%u5DF4%u5F66%u6DD6%u5C14%u5E02%u5965%u9686%u5DE5%u7A0B%u5EFA%u8BBE%u6709%u9650%u516C%u53F8'str1 = escape_str.replace('%u', '\\u')# 得到结果 str1 = '\u4eba\u751f\u82e6\u77ed'str = str1.encode('utf-8').decode('unicode_es

class ChongqingSpider(scrapy.Spider): name = 'chongqing' start_url = 'http://www.cqjsxx.com/webcqjg/GcxxFolder/jgysba_list.aspx' # custom_settings = { # 'DOWNLOADER_MIDDLEWARES': { # 'zb_yitihua.middlewares.ProxyMiddleware'

import xlrd #导入xlrd模块class ExcelData(): def __init__(self,data_path,sheetname): self.data_path = data_path # excle表格路径，需传入绝对路径 self.sheetname = sh.

保存为csv格式 def __init__(self): # 打开文件，指定方式为写，利用第3个参数把csv写数据时产生的空行消除 self.f = open("建设工程.csv", "a", newline="") # 设置文件第一行的字段名，注意要跟spider传过来的字典key名称相同 self.fieldnames = ["city", "postdate", "title", "projectAllName", "bidNo"

def process_item(self, item, spider): data = dict(item) content_url = data['sourceUrl'] #特殊网站（post） md5 = hashlib.md5(content_url.encode()).hexdigest() ErrorCause = '' status = '' con = pymysql.co...

有些时候，我们可能需要存入不同的数据库中，而settings中只能设置一个数据库的资料，那么这时候我们就需要使用custom_settings参数来为每一个spider配置对应的pipeline。不过scrapy版本必须是1.1以上Class Test1(scrapy.Spider): name = "test1" custom_settings = { 'ITEM_PIPELIN...

import ioimport requestsfrom urllib.parse import urljoinfrom parsel import Selectortry: from PIL import Imageexcept ImportError: import Imageimport pytesseracturl = 'http://www.porters....