![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
小技巧
curd_boy
热爱编程,喜欢探索新技术
展开
-
csv文件拆分
# ecoding=utf-8import osimport timedef mkSubFile(lines, head, srcName, sub): [des_filename, extname] = os.path.splitext(srcName) filename = des_filename + '_' + str(sub) + extname print('make file: %s' % filename) fout = open(filename,原创 2020-07-16 12:01:58 · 1908 阅读 · 1 评论 -
ssh: connect to host gitlab.com port 22: Connection timed out
解决windows 在./ssh文件夹下面,创建文件config,里面写上Host gitlab.comHostname altssh.gitlab.comUser gitPort 443PreferredAuthentications publickeyIdentityFile ~/.ssh/id_rsa...原创 2020-03-10 01:58:15 · 3935 阅读 · 1 评论 -
windows使用ImageMagick给图片瘦身
magick -quality 80 1.jpg 2.jpg影响图片大小(占用空间)主要取决于图片的profile和quality。quality:图片的品质,品质越高,占用的空间越大。适当降低品质能很大程度的减少图片的尺寸。一般来说,从品质100降到85,基本上肉眼很难区别其差别,但尺寸上减少很大。imagemagick通过通过 -quality 来设置。profile:记录图片一些描述...原创 2020-02-19 12:52:43 · 1327 阅读 · 0 评论 -
python使用pydub(Windows)
pip 安装pydub下载 ffmpeghttps://ffmpeg.zeranoe.com/builds/解压到自定义文件夹,并配置环境变量查看安装是否成功原创 2020-02-06 19:18:15 · 1301 阅读 · 0 评论 -
pandas写入数据
1. 删除一行数据# 读取后dropdata = pd.read_excel("data.xlsx", sheetname=sheet_name)mydata = data.drop([0], axis=0)2. 删除sheetdef add_excel_stay(excel_name, sheet_name, df): writer = pd.ExcelWriter(exce...原创 2019-11-28 10:29:11 · 4028 阅读 · 0 评论 -
网页生成图片的方法
一.先下载wkhtmltopdf软件官网下载地址: https://wkhtmltopdf.org/downloads.htmlwkhtmltopdf软件下载链接:https://pan.baidu.com/s/11VOomkNch7C9m8lqlRaNAg 密码:4xuv点击需要安装的版本号。Windows版本需要把wkhtmltopdf的bin执行文件路径添加到PATH变量中。二...原创 2019-08-22 16:34:03 · 1635 阅读 · 0 评论 -
解决GitHub下载速度缓慢的问题
解决GitHub下载速度缓慢的问题https://www.jianshu.com/p/0493dcc15d6f轻松上百K原创 2019-08-21 17:31:16 · 3060 阅读 · 0 评论 -
xml格式转txt格式
process.py#!/usr/bin/env python# -*- coding: utf-8 -*-# 修改后的代码如下:import loggingimport os.pathimport sysfrom gensim.corpora import WikiCorpusif __name__ == '__main__': program = os.pat...原创 2019-07-22 11:25:45 · 561 阅读 · 1 评论 -
用opencc繁体转中文
opencc下载地址:https://download.csdn.net/download/weixin_43746433/113933961.查看数据,为中文import codecs,sysf=codecs.open('./data/wiki.zh.text','r',encoding="utf8")line=f.read()print(line)2.将文件添加到opencc目...原创 2019-07-22 11:14:06 · 169 阅读 · 0 评论 -
pandas-profiling(数据预览分析)
1. 总体数据首先是数据集信息:变量数(列)、观察数(行)、数据缺失率、内存;数据类型的分布情况2. 警告信息主要包括以下信息:要点:类型,唯一值,缺失值分位数统计量,如最小值,Q1,中位数,Q3,最大值,范围,四分位数范围描述性统计数据,如均值,模式,标准差,总和,中位数绝对偏差,变异系数,峰度,偏度3. 单变量描述以此对每个变量进行描述解析4. 相关...原创 2019-07-24 12:45:20 · 551 阅读 · 0 评论 -
使用sublime_text把键值对转为字典加双引号形式
在浏览器中得到的请求头:Accept: text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01Accept-Encoding: gzip, deflate, brAccept-Language: zh-CN,zh;q=0.9Connectio...原创 2019-07-23 18:00:30 · 503 阅读 · 0 评论 -
数据与预处理之利用Pandas的corr()函数筛选数据中的相似的属性
# 读取数据data = pd.read_csv('../data/basalt.csv')data.drop(['SAMPLE NAME'],axis=1,inplace=True)association = data.corr()#data.corr() #相关系数矩阵,即给出了任意两个变量之间的相关系数#data.corr()[u'好'] #只显示“好”与其他感情色彩的相关系数#...原创 2019-07-10 17:10:13 · 3445 阅读 · 0 评论 -
pandas库to_csv 保存数据出现中文乱码问题及解决办法
问题1.对爬取的数据进行数据清洗后保存在csv文件中,但是用word打开csv文件打开时乱码。解决办法1.使用pandas的to_csv()方法重新保存(1)使用 data.to_csv(file_name, encoding=‘utf-8’)data.to_csv(file_name, encoding='utf-8')(2)使用 data.to_csv(file_name, e...原创 2019-07-02 18:13:39 · 2712 阅读 · 1 评论 -
Scrapy框架快速执行cmd命令:‘scrapy crawl qsbk_spider’
1.scrapy startproject qsbk 创建爬虫项目2.scrapy genspider qsbk_spider ‘qiushibaike.com’执行文件比较繁琐,可以直接在根目录生成py文件运行from scrapy import cmdlinecmdline.execute('scrapy crawl qsbk_spider'.split())...原创 2019-06-12 22:28:03 · 2592 阅读 · 0 评论