pythonisnotshell的博客

原创 str.maketrans()和str.translate()的用法

str.maketrans(intab, outtab)参数intab -- 字符串中要替代的字符组成的字符串。 outtab -- 相应的映射字符的字符串。例子: 去除字符串中所有的数字from string import digitsremove_digits = str.maketrans('', '', digits)content = '123dfasdl'...

原创 字符串利用str.index()截取获取第一个指定字符串以后的字符

In [1]: a = '165.草书.行书.楷书.隶书四种字体当中哪一种是其余三种的起源？'In [2]: a.index('.')Out[2]: 3In [3]: a[a.index('.')+1:]Out[3]: '草书.行书.楷书.隶书四种字体当中哪一种是其余三种的起源？'...

原创 linux 强制删除

# rm -f 文件名# rm -rf 文件

原创 正则表达式

匹配单个字符匹配多个字符匹配开头结尾匹配分组python贪婪和非贪婪非贪婪操作符“？”，这个操作符可以用在"*","+","?"的后面，要求正则匹配的越少越好...

原创 python 程序断开

import sysfor i in range(100): print(i) if i == 50: sys.exit(1)

原创 pymysql检查是否断开, 断开重连

db.ping(reconnect=True)cur.execute(sql)db.commit()

转载 linux 文件转码

一般转换编码都是用iconv命令来转换，命令格式如下 $iconv -f gb18030 -t utf-8 file1.txt > file2.txt 说实话这个命令不好使，一方面容易重复转换，另一方面不支持通配符，无法成批转换，文件少了还好说，要是一大堆文件岂不是要累死？ 于是在google上淘宝，淘得一个更好的傻瓜型命令行工具enca，它不但能智能的识别文件的编码...

转载 pymongo

https://blog.csdn.net/wsp_1138886114/article/details/80402039

原创 pymongo的基本使用

import pymongomongo_url1 = "*.*.*.*:27017"client = pymongo.MongoClient(mongo_url1)db1 = client['minganci']col1 = db1['mgctj']# 查询一个# result = col1.find_one()# 多条数据查询查询# results = col1.find...

原创 遍历文件夹名和文件夹中的文件名

import ospath = '/home/guanpg/桌面/Spider/Duokan8'for filedir in os.listdir(path): '''遍历路径下的文件夹名称 ''' file_path = path + '/' + filedir for maindir, subdir, file_name_list in os.walk(...

转载 ubuntu16.04中安装google chrome

第一种方式：1、在ubuntu中启动终端2、在终端中，输入以下命令：sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/将下载源加入到系统的源列表。命令的反馈结果如图。如果返回“地址解析错误”等信息，可以百度搜索其他提供 Chrome 下载的源，用其地...

原创 验证码识别

一， 简单验证码识别，tesserocrimport tesserocrfrom PIL import Image#image = Image.open('CheckCode2.jpg')# image 对象的convert()方法参数传入L, 即可将图片转化为灰度图像image = image.convert('L')threshold = 127table = []for...

转载 滑动验证码

# encoding=utf8from time import sleepfrom selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import e...

原创 mysql更改字段内容

原创 绕过SSL证书验证

import requestsimport logging# verify参数控制是否检查证书（默认是ture），通过捕获警告到日志的方式忽略警告logging.captureWarnings(True)response = requests.get ('https://www.12306.cn', verify=False)print(response.status_code)...

原创 scrapy设置问题

一， 并发    并发性是并行处理的请求数。 存在全局限制和每个域限制。Scrapy中默认的全局并发限制不适合并行爬行许多不同的域，因此您需要增加它。 增加多少将取决于您的爬虫有多少CPU可用。 一个好的起点是100，但找出最好的方法是通过做一些试验并确定Scrapy过程在哪些并发情况下使CPU受到限制。 为了获得最佳性能，您应该选择CPU使用率为80-90％的并发性。要增加全局并发使用：CONC...

转载 response.follow作为创建Request对象

import scrapyclass QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', ] def parse(self, response): for quote in respo...

转载 使用urljoin()方法构建完整的绝对URL

import scrapyclass QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', ] def parse(self, response): for quote in respo...