Tramp_fish-CSDN博客

原创 python通过pyhdfs(或hdfs)异常问题处理

requests.exceptions.ConnectionError: HTTPConnectionPool(host='16a187bf3b55', port=50075): Max retries exceeded with url: /webhdfs/v1/user/test06?op=CREATE&user.name=demo&namenoderpcaddress=namenode:8020&createflag=&createparent=true&ove

2020-12-29 09:31:52 1576 2

原创 librosa 中读取mp3文件异常处理

Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)解决方案:conda install -c conda-forge ffmpeg

2020-09-30 15:41:22 1188

原创 python生成当前目录下的requirements文件

# 安装pip install pipreqs# 在当前目录生成pipreqs . --encoding=utf8 --force注意--encoding=utf8为使用utf8编码，不然可能会报UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 406: illegal multibyte sequence 的错误。--force强制执行，当生成目录下的requirements....

2020-09-04 09:28:33 580

原创分类问题中one-hot数值型数据实现

1.from sklearn.feature_extraction import DictVectorizerDictVectorizer(sparse=False).fit_transform(data.to_dict(orient='record'))2.from sklearn.preprocessing import LabelEncoder,OneHotEncoderlb_f = LabelEncoder().fit_transform(data)OneHotEnc

2020-08-28 17:08:28 205

原创数据分析-数值型异常值判定

python中pandas确定四分位 pd[col].describe()中有对应的四分位描述 pd[col].quantile(q=0.25)普遍异常值确定iqr = q3-qlt_min = ql-3*iqrt_max = q3+3*iqrt_min<data<t_max

2020-08-16 20:34:00 333

原创 appium控制手机APP流程

1.启动adb服务adb start-server2.查看是否连接上手机或者虚拟机adb devices3.点击需控制的手机APPadb shell"dumpsys window | grep mCurrentFocus"tips:常见查看包的命令4.appium服务基本参数填写5.python连接appiumfrom appium import webdrivercap ={ "platformName": "Android", "p..

2020-07-30 15:50:40 785

原创手机抓包工具证书安装

fiddler教程网站：https://www.cnblogs.com/mini-monkey/p/11286264.html证书安装URL:ip+端口号mitmdump教程网站：https://www.jianshu.com/p/af381ef134e2证书安装URL :mitm.itcharles教程网站：https://www.jianshu.com/p/171046d9f4f9证书安装URL:http://chls.pro/ssl...

2020-07-29 11:19:20 985

原创 matplotlib无法正确显示中文解决方案

from matplotlib import font_managermy_font = font_manager.FontProperties(fname=r'c:\Windows\Fonts\msyhbd.ttc')plt.xticks(range(20),person_top20['city'],fontproperties=my_font)plt.title("知乎人数-TOP20",fontproperties=my_font)

2020-07-06 15:26:57 183

原创 ubuntu下安装python虚拟环境

步骤1.安装相关依赖包sudo pip install virtualenvsudo pip install virtualenvwrapper2.加入环境变量sudo vim ~/.bashrcexport WORKON_HOME=~/.environments，source /usr/local/bin/virtualenvwrapper.shsource ~/.bashrc3.异常 a.报错 /usr/bin/python: No module named...

2020-05-28 15:45:18 201

原创爬虫中实现翻页（队列实现）

在爬取列表页时，通常我们需要翻页，最简单的翻页实现是递归调用，伪代码如下def crawl_list(url): next_url = crawl(url) #process html data ,extract next url if next_url is not None: crawl_list(next_url)此种方式存在的问题是： 1.递归次数过多，会抛出RuntimeError: maximum recursion depth excee...

2020-05-15 16:14:41 641

原创 python发邮件（163邮箱）

import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerclass SendEmail(): def __init__(self,sende,smtpserver='smtp.163.com', username , password): self.sender =sender self.

2020-05-13 16:24:24 362

原创 requests-headers中x-requested-with-异步请求判定

1.知识点x-requested-with 请求头区分ajax请求还是普通请求在服务器端判断request来自Ajax请求(异步)还是传统请求(同步)2.异常网站 aHR0cHM6Ly93d3cuZGVncnV5dGVyLmNvbS92aWV3L2pvdXJuYWxzL3Rqai90amotb3ZlcnZpZXcueG1sP3RhYl9ib2R5PXRvYy02ODg3MQ==3.现象在抓取期刊列表页数据时，发现其数据为ajax请求，在发送post的请求中，未在headers中.

2020-05-09 15:53:53 945

原创 requests中禁止重定向-PDF全文下载

1.知识点在requests发送请求时添加allow_redirects=False2.异常网站aHR0cHM6Ly9hc21lZGlnaXRhbGNvbGxlY3Rpb24uYXNtZS5vcmcvdHJpYm9sb2d5L2FydGljbGUvZG9pLzEwLjExMTUvMS40MDQ2NTcxLzEwNzU2ODMvSW52ZXN0aWdhdGlvbi1vbi1GcmljdGlvbi1BbnRpLXdlYXItYW5kLUV4dHJlbWU=3.现象与处理在通过详细页获取pdf

2020-05-09 15:48:46 284

原创 ubuntu中安装vmware中流程

1、打开虚拟机VMware Workstation，启动Ubuntu系统，菜单栏 - 虚拟机 - 安装VMware Tools，不启动Ubuntu系统是无法点击“安装VMware Tools”选项的，2.在ubuntu中提取VMwareTools…tar.gz文件3.在终端命令中（shift +alt +t）进入解压目录，通过root权限（sudo su）执行命令。./...

2020-04-18 10:53:34 175

原创文本预处理

1.利用正则表达式对去除非文本字符#u的作用：后面的字符串以unicode格式进行编码，用在中文字符前面，防止因为源码存储格式导致使用时出现乱码import repattern = re.compile(u'[^a-zA-Z\u4E00-\u9FA50-9]')dissertation_title = "'Daddy's girls', 'degenerate daughters'...

2019-11-05 15:41:16 328

原创 python中mysql的上下文管理的封装

class DB(object): def __init__(self): self.conn = connect(host='localhost', port=3306, database=DATABASE, user='root', password='123456', charset='utf8') ...

2019-10-25 15:37:13 202

原创机器学习中对于缺失数据的处理（day1补充）

缺失值的常用处理方式：1.对包含缺失值的列和行数据进行删除df.dropna()2.对缺失值数据进行所在列的中位数、众数、平均值等进行填充#对所有列的缺失值数据进行平均值填充df.fillna(df.mean())#对指定列的缺失值进行平均值填充df.fillna(df["指定列索引"].mean())3.对缺失值周围的数据进行模型训练，然后通过模型对缺失值进...

2019-10-12 15:14:31 313

原创 github(100-day-of-ml-code)-day1

import numpy as npimport pandas as pd#pandas读取csv文件dataset = pd.read_csv("../datasets/Data.csv")print(dataset.head())X = dataset.iloc[:,:-1].valuesY = dataset.iloc[:,3].valuesprint("X:",X)p...

2019-10-12 14:07:00 128

原创 python 3以上版本使用pickle.load读取文件报UnicodeDecodeError: 'ascii' codec can't decode byte 0x8d in position 1

源码中resource_val = pickle.load(opened_resource)改为resource_val = pickle.load(opened_resource,encoding='iso-8859-1')

2019-09-16 15:26:25 644

转载 python的代码优化（使用枚举）

当我们书写代码进行条件判断时，常会书写出以下类似的代码:def foo(num): if num ==11: do_something() if num ==22: do_otherthing()但是有没有想过，当我们把代码提交给别人时，如何做到让其他人能够快速准确的知道11，22这些数值面值代表的意思呢？1.最直接的方式在数值面值处添...

2019-07-18 16:27:29 282

Tramp_fish的博客