Python学一点
风少年~
这个作者很懒,什么都没留下…
展开
-
python根据第一个文件,获取Excel的数据
需求: 根据第一个文件,获取Excel的数据代码:# -*- coding:UTF-8 -*-import sysresult = []col_name_list = []col_nums = []# 先读取第一个文件,获取想要的列名称with open(sys.argv[1], 'r') as lines: for line in lines: col_name_list.append(line.strip())print ('col_name_...原创 2021-05-13 16:03:36 · 186 阅读 · 0 评论 -
python 读取两个excel,根据第一列进行合并(不使用pandas)
需求: 不用pandas来实现,两个 excel根据首列进行合并。实现: 平时太依赖第三方包了,这么简单的问题居然在一开始被吓到了。思路: 将每一行读取成数组,然后对比数组的第一个值是否相同,相同则合并数组即可。代码:# 读取一个文件,每一行用 \t 切割成数组# 例如:[['1', 'a', 'b'], ['2', 'w', 'r'], ['3', 'q', 'm']]# 例如:[['3', 'a1', 'b1'], ['2',...原创 2021-01-06 16:18:25 · 1910 阅读 · 1 评论 -
shell 删除关键词行,根据行数切割文件
sed -i -e '/paramenter/d' out.txtsplit -l 4 out.txt subfile_原始文件:paramenter condition: |log2foldchange|>=1.0, p<=0.05, q<=1.0Compare bb_ML_U_bb_SL_UUp 2Down 5Total 7paramenter condition: |log2foldchange|>=1.0, p<=0.1, q&原创 2020-10-29 17:06:26 · 497 阅读 · 0 评论 -
获取指定目录下的文件路径列表
import os# 获取文件名file_names = os.listdir("./data/")print(file_names)# 文件名拼接路径file_list = [os.path.join("./data/",file) for file in file_names]print(file_list)代码显示['01.txt', '02.txt', '03.txt', '04.txt', '05.txt']['./data/01.txt', './data/02.txt.原创 2020-10-29 11:33:23 · 455 阅读 · 0 评论 -
python 连续值分组统计
需求: 将左表 按照连续值分组统计思路: 给 vlue 做标记,自上而下如果相同值不变,不同则加一,如下图所示。 然后根据 token 进行分组即可方便实现。 方法使用:pandas.core.groupby.DataFrameGroupBy.cumsum代码:import pandas as pddata = [['a','1'], ['a','2'], ['a','3...原创 2020-08-25 11:22:17 · 1565 阅读 · 0 评论 -
python pandas 分组后 列上移
import pandas as pdtrain_data = pd.read_csv(filepath_or_buffer='E:\\tmp\\2\\xuhao', sep='\t',encoding='utf-8',names=['id','xuhao', 'txt'])# train_data.drop_duplicates(inplace=True)df = pd.DataFrame(train_data)df['new_data'] = df.groupby('id')['txt'].s.原创 2020-08-18 17:37:18 · 781 阅读 · 0 评论 -
python 相同数据加序号
官网参考:https://pandas.pydata.org/pandas-docs/version/0.15.0/generated/pandas.core.groupby.GroupBy.cumcount.htmlimport pandas as pdtrain_data = pd.read_csv(filepath_or_buffer='E:\\tmp\\2\\20200818.txt', sep='\t',encoding='utf-8',index_col=0,header=0)trai原创 2020-08-18 16:05:54 · 1862 阅读 · 0 评论 -
【demo】python 按照标签分组取前N行
import pandas as pdtrain_data = pd.read_csv(filepath_or_buffer='E:\\tmp\\2\\tagging.tsv', sep='\t',encoding='utf-8',index_col=0,header=None, names=["label", "textA", "textB"])train_data.drop_duplicates(inplace=True)df = pd.Data.原创 2020-08-18 14:37:07 · 509 阅读 · 0 评论 -
python 打乱文本
import osimport randomout = open("还款意愿shuffle.tsv",'w', encoding='utf-8')lines=[]with open("还款意愿.tsv", 'r' , encoding='utf-8') as infile: for line in infile: lines.append(line)random.shuffle(lines)for line in lines: out.write(line) infile.c.原创 2020-07-16 16:19:30 · 638 阅读 · 0 评论 -
python 画热力图
# encoding:utf-8import numpy as npimport pandas as pdfrom matplotlib import pyplot as pltfrom matplotlib import cmfrom matplotlib import axesimport pylabpylab.mpl.rcParams['font.sans-serif'] = ['SimHei'] # 防止中文乱码pylab.mpl.rcParams['axes.unicode_.原创 2020-06-12 18:08:30 · 1747 阅读 · 0 评论 -
使用Python3.6做文本切割
HI: 使用 python 对一个大文件按照行数进行切割:# -*- coding: UTF-8 -*-import os""""python 干起活来 是真的慢"""def split(fromfile,todir,lineNum): # 如果我文件夹不存在,则创建 if not os.path.exists(todir): os.mk...原创 2020-04-09 14:19:28 · 392 阅读 · 0 评论 -
Python 命令框里 import 好使 在pycharm里不好使
原创 2020-02-11 20:13:11 · 400 阅读 · 0 评论 -
java 调用 Python
需求如题依赖:<dependency> <groupId>org.python</groupId> <artifactId>jython-standalone</artifactId> <version>2.7.1</version></dependency><...原创 2019-12-04 16:05:18 · 201 阅读 · 2 评论 -
Python Geo 地图
参考:# https://github.com/pyecharts/pyecharts/blob/master/example/geo_example.pypython -m pip install echarts-countries-pypkgpython -m pip install echarts-china-provinces-pypkgpython -m pip install ...原创 2019-11-21 12:17:14 · 4616 阅读 · 0 评论 -
Python 读取Excel数据并分组统计
代码# 导入这个神奇的包import pandas as pd# 参考这个文档 https://pandas.pydata.org/pandas-docs/version/0.22/groupby.html# io 是文件# sheet_name 选择excel 的sheet# usecols 选择当前sheet 的前几列# names 给每列定义一个名字df1 = pd....原创 2019-11-20 09:47:25 · 7222 阅读 · 1 评论 -
Python 抓取邮件中表格到Excel
上代码import imapclient# 这个包导不进来,先导入 pyzmail36,下载好后再改回 pyzmail 即可import pyzmailfrom bs4 import BeautifulSoupimport pandas as pdimport xlsxwriterimport html5lib# 提取邮件里面的表格class my_eamil(): ...原创 2019-11-14 16:40:23 · 4209 阅读 · 0 评论 -
Python第一天
简介: 为什么要学学Python?其实我是不想学的,因为怕一学将收不住手。对于有强迫症的人来说,开始一件事情是非常恐怖的。。。。起因: 首先是之前搞spark开发时,第一次接触到Python,当然同时还有R和Scala。最后我选择了Scala作为开发语言,因为它和java可以混编。 其次是在转过来开发爬虫时,网上一搜一大片的Python,各种Python原创 2017-08-25 16:25:30 · 287 阅读 · 0 评论