![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
马苏比拉米G
这个作者很懒,什么都没留下…
展开
-
Python logging模块用法记录
python的logging模块提供了标准的日志接口,你可以通过它存储各种格式的日志,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等。一、logging日志框架主要包括四部分:Loggers: 可供程序直接调用的接口,app通过调用提供的api来记录日志Handlers: 决定将日志记录分配至正确的目的地Filters:对日志信息进行过滤, 提供更细粒度的日志是否输出的判断Formatters: 制定最终记录打印的格式布局1、loggersloggers 就是原创 2020-09-03 10:45:47 · 294 阅读 · 0 评论 -
字符串格式化方法
1、%形式import timeNow_time = datetime.datetime.now().strftime('%Y-%m-%d')print("now_time%s" % Now_time )输出:now_time:2020-08-262、formateformat()功能更强大,该函数把字符串当成一个模板,通过传入的参数进行格式化,并且使用大括号 {} 作为特殊字符代替 %print("今天{}预报{}".format("天气", "下雨"))输出结果:今天天气预报下雨3原创 2020-08-26 18:05:25 · 858 阅读 · 0 评论 -
python中mp3转wav---安装、声音截取、音频分布
一、pydub和ffmpeg安装(失败)1、直接pip安装pip install pydubpip install FFmpeg运行下文程序时,报错:Couldn’t find ffmpeg or avconv - defaulting to ffmpeg, but may not work"主要原因是没有找到 ffmpeg.exe。pip list查看安装版本为1.4。二、单独下载...原创 2020-04-29 10:45:33 · 2555 阅读 · 1 评论 -
【报错】ValueError: setting an array element with a sequence
使用xgb进行训练时,报错:ValueError: setting an array element with a sequenceclf = XGBRegressor(objective="binary:logistic", learning_rate=0.01, max_depth=4, silent=True,nthread=16, n_estimators=100)clf.fit(te...原创 2020-04-20 18:19:02 · 10038 阅读 · 0 评论 -
dataframe常用功能整理
一、DataFrame去重#去除某几列重复的行数据。'A','B'相同,则删除重复行,保留第一个。keep参数可以为first、last和False(不保留)df.drop_duplicates(subset=['A','B'],keep='first',inplace=True)#去除完全重复的行数据。保留第一个df.drop_duplicates(keep='first',inplac...原创 2020-04-08 20:13:51 · 5095 阅读 · 0 评论 -
正则表达式 re.search re.findall re.finditer返回匹配内容、下标或索引
近期做序列标注任务,需要用到正则表达式,找出满足条件的文本和对应索引,并进行标注。对 re.findall re.search re.finditer功能整理如下。1、re.search返回第一个匹配到的文本和对应索引import repattern = re.compile('(\d*).(duck|chicken)')s='there are 3 duck and 10 chicke...原创 2020-03-30 20:11:46 · 13700 阅读 · 2 评论 -
【报错】tensorflow时Can not convert a ndarray into a Tensor or Operation解决方案
使用TensorFlow 一批批feed数据时,报错Can not convert a ndarray into a Tensor or Operation。原因:feed_dict是写在一个循环里的,分批喂数据做训练或做预测时,接收的参数名和run()里面的参数名一样,这样第一次不会报错,下一次循环时pred个变量名已有了,直接跑会和你前面定义的运算冲突。pred= sess.run(pr...原创 2020-03-09 12:31:00 · 820 阅读 · 0 评论 -
【报错】docker 容器中中文乱码解决方案
在docker容器中python脚本汉字的会乱码,按下面方法暂时设置容器。编码可以解决脚本中文乱码问题1、进入docker.sh容器sh docker.sh2、查看容器语言环境[root@123 /]# localeLANG=LC_CTYPE="POSIX"LC_NUMERIC="POSIX"...LC_IDENTIFICATION="POSIX"LC_ALL=3、查看容...原创 2020-03-09 12:33:55 · 1436 阅读 · 0 评论 -
【报错】FlaskWeb上jsonify返回的json串是utf-8的编码,怎么返回中文
问题:在本地测试时返回的时中文,但Web端调用时,返回的时UTF-8编码。解决方案:(1)使用jsonify()方法时可以在启动服务器的py文件里配置flaskapp.config['JSON_AS_ASCII'] = False(2)使用json.dumps方式return json.dumps(ret_json, ensure_ascii=False)...原创 2020-03-09 10:31:57 · 1096 阅读 · 0 评论 -
Python如何将字符串(str/json)转换字典(dict)
一、字符串str转为字典dict1、使用json进行转换import jsona = '{"a":"1", "b":"1"}'c=json.loads(a)print(c, type(c))输出:{‘a’: ‘1’, 'c: ‘1’} <class ‘dict’>user_info = "{'name' : 'john', 'gender' : 'male', 'ag...原创 2020-03-05 09:47:44 · 63933 阅读 · 4 评论 -
Gunicorn-配置详解
一、通过配置文件启动1、配置文件# config.pyfrom gevent import monkeymonkey.patch_all() # python 网络接口多进程处理包debug = False# 监听内网端口5000bind = '127.0.0.1:5000'# 监听队列backlog=2048 # 并行工作进程...原创 2020-03-04 11:56:26 · 5314 阅读 · 0 评论 -
【报错】json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2
1、原因:数据格式错误,不是标准的json格式。2、解决办法:demjson 可以解決,不正常的json格式数据3、demjson 的用法:(1)encode 将 Python 对象编码成 JSON 字符串import demjson data = [ { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 } ] json = demjson.en...原创 2020-03-02 17:23:32 · 6324 阅读 · 1 评论 -
Dataframe处理速度测试
一、定义一个50000行的Dataframea1 = np.random.randint(1,100,[1,50000]).Ta2 = np.random.rand(1,50000).Tc = np.hstack((a1,a2))df = pd.DataFrame(c,columns=['m1','m2'])二、定义一个函数def simple_fun(v): return ...原创 2020-02-25 16:08:23 · 610 阅读 · 0 评论 -
python中跨文件引入.py文件
在本地可以通过在pycharm里将文件目录调整为sources root实现。但在服务器里,需要通过如下方式跨文件调用.py文件。一、同级目录下的调用程序结构如下:– src|-- mod1.py|-- test1.py若在程序test1.py中导入模块mod1, 则直接使用import mod1#或from mod1 import *二、调用子目录下的模块程序结构如下:...原创 2020-02-24 14:38:51 · 761 阅读 · 0 评论 -
简单好用的Python Flask框架部署Web服务(机器学习模型)
工作中,线下模型训练好以后,可以使用Flask Web框架,将其部署上线。用户通过API借口对模型进行调用。一、Flask框架主要分为一下三个流程:1、导入Flask类app = Flask(name)2、注册服务器@app.route(’/’,methods=[‘POST’,‘GET’])3、启动服务在主函数里定义app.run(host=‘0.0.0.0’,port=9000)...原创 2019-11-11 20:51:14 · 3815 阅读 · 1 评论 -
机器学习和深度学习常用的评价指标
一、分类器评价指标1、混淆矩阵:衡量的是一个分类器分类的准确程度。适用于多分类器问题。TP(真正)True Positive:实际为正,预测为正FP(假正)False Positive:实际为负,预测为正FN(假负)False Negative:实际为正,预测为负TN(真负)True Negative:实际为负,预测为负主要指标计算:真正类率:True Positive Rate...原创 2019-11-10 14:43:36 · 903 阅读 · 0 评论 -
机器学习和深度学习中常用的损失函数
一、什么是损失函数损失函数用来评估模型预测值和真实值之间的差异。模型的损失越小,模型的鲁棒性越好。二、常用的损失函数1、平方损失函数(最小二乘法)最小二乘法认为,最优拟合直线应该是使各点到回归直线的距离和最小的直线,即平方和最小。这里的举例2、log对数损失函数三、模型与损失函数...原创 2019-11-10 13:47:41 · 1240 阅读 · 0 评论 -
梯度消失和梯度爆炸
一、RNN梯度更新过程对于循环神经网络,在训练语言模型或序列标注任务中,每一个隐层输出与实际输出都对于产生一个损失函数。如J3(θ)\displaystyle J^{3}( \theta )J3(θ):loss as time 3。...原创 2019-10-24 22:53:15 · 157 阅读 · 0 评论 -
机器学习、深度学习中常用的优化算法详解——梯度下降法、牛顿法、共轭梯度法
一、梯度下降法1、总述:在机器学习中,基于基本的梯度下降法发展了三种梯度下降方法,分别为随机梯度下降法,批量梯度下降法以及小批量梯度下降法。(1)批量梯度下降法(Batch Gradient Descent,BGD)BGD 得到的是一个全局最优解,但是批量梯度下降法在更新每一个参数时,都需要所有的训练样本,如果样本的数量很大,那么可想而知这种方法的迭代速度会相当的慢。从迭代的次数上来看,B...原创 2019-10-22 21:21:55 · 5601 阅读 · 2 评论 -
Python与JSON转化+Dataframe按不同形式与JSON转化
你要的Json格式转化都在这里~~1、json.dumps: 用于将 Python 对象编码成 JSON 字符串import jsondata = [{ 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 }]#data = { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 }json = json.dumps...原创 2019-09-05 22:32:31 · 4166 阅读 · 0 评论