python
sinolzeng
这个作者很懒,什么都没留下…
展开
-
用python selenium + requests 模拟 chrome开发者工具network获取音频链接进行下载
用python selenium + requests 模拟 chrome开发者工具network获取音频链接进行下载原创 2022-04-23 12:27:12 · 1587 阅读 · 0 评论 -
用python实现自动填数生成表格v2.0
这个版本将v1.0中的数据源和填入位置两个excel合并到了一起了。具体的话请看demo文件:这里直接给出代码:from openpyxl import Workbookfrom openpyxl import load_workbookimport osimport datetimeimport shutildef now(year=True,month=True,day=True,hour=True,minute=True,second=True): def complete原创 2021-02-23 09:53:33 · 340 阅读 · 0 评论 -
用python实现自动填数生成表格v1.0
先简单描述一下需求,是这样,有时候人事部门需要对着同样的一张表录入数据,比如说员工退休表,这样的表通常是一张excel表格,由于退休员工有多个,那么这样的表肯定就要经常录入了。录入之后由于excel是独立分散的,并不便于后续的数据的查找、管理等。同时,每个退休员工都要录入一张表的话,有时候工作量很大,也容易出错。这样的业务需求其实是很多的,比如生成每个学生独立的成绩单等等。那么,有没有什么办法比较好解决呢?当然是有,而且思路是很简单的。首先先把所有待处理的数据填放在一个数据源的excel表格里面,再原创 2021-02-23 09:42:03 · 744 阅读 · 0 评论 -
用python结束exe进程
如题,不废话,上代码:import psutilnamelist = ['NOTEPAD.EXE']deathlist = ['chrome.exe','chromedriver','python','conhost.exe']def terminate(namelist=namelist): for i in range(len(namelist)): for process in psutil.process_iter(): try: cmdline = proc原创 2021-02-23 09:34:48 · 1162 阅读 · 0 评论 -
用python pandas按块读取超大csv/txt
如果一个csv文件过大,比如说达到好几G,直接读取的话内存估计hold不住,幸好pandas支持使用chunksize指定行数,每次按多少行多少行来读取,这样就避免了一次性读取过多数据导致内存崩溃。用row["某个列的名称"] 即可读取该列的对应数据了,之后就可以进行数据处理了。import pandas as pdchunksize = 1000count = 1for df in pd.read_csv('1.txt',chunksize=chunksize): print(cou原创 2021-02-23 09:20:28 · 6282 阅读 · 0 评论 -
用python pandas三行代码实现excel转csv
python的pandas库做了大量的底层封装,其实我也不关心这些底层代码如何实现,只要能用就行了。import pandas as pd#chunksize = 500000data = pd.read_excel("123.xlsx")file_name='out.csv'data.to_csv(file_name,index=False)...原创 2021-02-23 09:16:10 · 206 阅读 · 0 评论 -
用python openpyxl合并多个excel文件
我这里将最后的输出文件命名为“最终合并.xlsx”,然后待合并的文件则是一些来自oracle的各个查询结果.xlsx,大家参考一下就行了,根据自己的实际需要对脚本进行修改。合并excel这件事,本身python并不是很擅长,如果excel文件比较大(比如有几十万行或以上的数据)那么合并起来是非常耗时间的,后来我找到了一个软件叫做mergeexcel,用起来还不错,合并几十万行几百万行的excel文件有奇效。如果平时的excel文件也就几百几千行的话,那直接使用python得了。from openp原创 2021-02-23 09:13:03 · 4193 阅读 · 1 评论 -
python连接oracle
python连接oracle需要先根据oracle的版本到网上下载对应版本的instantclient,这个就自己去网上下载了,下载完了解压到某个文件夹即可。然后在脚本的最前面加上这句:os.environ['path'] = r'D:\instantclient_12_2' ,路径就是你存放instantclient的路径。之后就可以用python执行oracle数据库操作了。import osimport cx_Oracleos.environ['path'] = r'D:\inst原创 2021-02-23 09:07:49 · 387 阅读 · 1 评论 -
python连接阿里云odps
怎么下载他的库这个就自行百度了,配置完毕之后就用以下代码即可用python连接阿里云odps的数据库了。from odps import ODPS o = ODPS('嘿嘿嘿', #这个地方是阿里云的Access Key ID '哈哈哈哈', #这个地方是阿里云的Access Key Secret 'kf_gdsw_xxzx', endpoint='http://service.cn-某个阿里云的网址:80/api')sql="""select *from 某个阿里云的数.原创 2021-02-23 09:02:36 · 1903 阅读 · 0 评论 -
pyppeteer抓取努努书坊2
# -*- coding: utf-8 -*-from pyquery import PyQuery as pqfrom bs4 import BeautifulSoupimport sys,io,ossys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')await page.goto('https://www.kanunu8.com/files/old/2011/2446.html',{'timeout': 1000.原创 2021-02-23 08:55:20 · 206 阅读 · 0 评论 -
python pyppeteer自定义chromium目录
在上一篇转载的文章中已经提到如何自己下载chromium了,但是上一篇文章里面的chromium是放在了c盘的默认位置,比较麻烦。其实我们是可以自定义目录的。只需要找个位置放好,然后在python脚本的开头加上下面这段即可:import pyppeteerexecutable_path = "C:\\你的文件夹\\chrome.exe"# 打开浏览器browser = await pyppeteer.launch( executablePath=executable_p原创 2021-02-19 15:28:43 · 925 阅读 · 0 评论 -
简单记录一下使用python pyppeteer爬取努努书坊的爬虫
RT,是用python+pyppeteer随便写的,比较简单,权当做记录备忘而已。不作任何这方面的疑问解答。import pyppeteer,asyncio,sys,io,os,re,time,datetimeimport openpyxlsys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') from pyquery import PyQuery as pqfrom bs4 import BeautifulSoup原创 2021-02-19 15:19:31 · 427 阅读 · 0 评论 -
用工具批量下载哔哩哔哩视频并且将内容转换成pdf
网上的b站视频下载工具其实已经是一箩筐了,但是大部分有个问题,就是不支持批量下载。不废话,直接说搜索的结果,目前发现的两个可用的:b站下载姬:https://github.com/FlySelfLog/downkyi最好用的就是这个了,我也是用这个。自己号称东半球第二快的用go语言实现的程序:https://github.com/sodaling/FastestBilibiliDownloader这个东西,首先因为作者太懒,没有打包成exe,所以导致配置起来相当麻烦,你直接下载下来跑的话会各..原创 2021-02-11 11:53:50 · 1293 阅读 · 0 评论 -
解决python时间戳最大为3001年1月1日15时59分59秒的问题
自己写个python函数解决python时间戳最大为3001年1月1日15时59分59秒的问题我没有深入研究过python的时间戳原理,但是一旦时间超过3001年1月1日15时59分59秒就会报错,难道这一天是传说中的世界末日吗?我很奇怪为什么很久没写csdn的文章了,写文章的界面会变得如此之恶心,连标题栏都没了。csdn真的是决心在dog带的路上狂奔到底吗?不罗嗦了,直接商代码吧:import mathdef calcTimeStamp(t): #时间戳的原点是1970年1月1日0原创 2021-01-11 22:56:29 · 913 阅读 · 4 评论 -
CTF 大小写字母转换 try lower and upper
今天做CTF练习题的时候碰到这样一道题,挺有趣的,记一下。题目只有一个加密压缩包,里面就有一个flag.txt的文件,显然就是需要设法破解出这个压缩包的密码。另外题目有一句话写着trylowerandupper。直译就是试试小写和大写。直接用这个作为密码,发现无效,全部转成大写,发现也无效。想了一下,可能正确的密码应该就是把这句话的部分字母改成大写,部分字母改成小写。那么我们的思路就是去生成这样的一个字典,然后用跑字典的软件ARCHPR去跑一下。trylowerandupper这句话共有原创 2020-09-03 12:46:54 · 1105 阅读 · 0 评论 -
pyhon制作word、excel、ppt转pdf转换器大作战
很久很久没有写博客了。倒不是技术退步了,相反,这些年我从javascript开始,把主流语言基本都摸了个遍。然而编程的很多东西,用进废退,只要很短的一段时间不用就会遗忘很多。所以有些东西忙的时候没有及时记下来,一段时间后就写不出来了。记得很久很久以前,大概是2011年左右的暑假,我接触到了gamemaker,那时我很想做出属于自己的游戏。于是我就是从那个时候开始学习编程。由于我并不是读计算机类...原创 2019-11-14 21:41:19 · 1847 阅读 · 3 评论