Python
繁梦溪
这个作者很懒,什么都没留下…
展开
-
通过Python辅助浏览器实现网络数据获取
数据获取方案在浏览数据中数据会自动发起请求(可通过Python模拟鼠标滚动实现自动化)import pyautogui # pip install pyautoguiimport timeimport progressbarwidgets=['进度:',progressbar.Timer(),']',progressbar.Percentage(),progressbar.Bar(), '(',progressbar.ETA(),')']bar=progressbar.Progress原创 2022-03-15 10:01:50 · 941 阅读 · 0 评论 -
pandas自定义函数进行数据清洗
定义函数def data_cleaning(arguments):#数据清洗函数 arguments=str(arguments) # arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格,保留一个 ,正则替换 arguments=arguments.strip(' ,;\n\t')#去掉首尾空格等 return arguments函数应用clean_columns=['涉及功能','元数据分类','涉及病种','原创 2021-12-29 16:30:38 · 1880 阅读 · 0 评论 -
DataFrame通过正则表达式筛选包含的数据
示例import redf=df.fillna('')df.loc[df.apply(lambda x:True if re.search('处理中|暂不解决',x['解决状态'],re.I) else False,axis=1)]判断lambda x:True if re.search(正则表达式,字符串,re.I) else False符合条件的返回True 否则返回FalseNone处理df=df.fillna('')避免正则函数中接收非字符串内容...原创 2021-12-06 15:23:49 · 2119 阅读 · 0 评论 -
dataframe数据查询
import pandas as pd# df=pd.read_excel(r'C:\TEMP\后结构化新连接20210915.xlsx',header=0,skiprows=1,index_col='序号')# dtype = {'column_name' : str})df=pd.read_excel(r'C:\TEMP\xxxxxx.xlsx',header=0,skiprows=1,index_col='序号',dtype = {'结果表区分字段' : str} )df=df.a.原创 2021-10-26 15:44:46 · 1182 阅读 · 0 评论 -
Python合并Excel相同连续单元格(已排序)
from openpyxl import load_workbookfrom openpyxl.styles import PatternFill, Border, Side, Alignment, Protection, Fontwb = load_workbook("C:/TEMP/test2.xlsx")# ws = wb.active 选择工作簿ws = wb[wb.sheetnames[0]]# C/D/E列合并相同单元格x1=Nonex2=Nonefor i in ran.原创 2021-09-17 12:10:42 · 1581 阅读 · 2 评论 -
Python处理Excel 文件小案例
1、新建表格from openpyxl import Workbook # 实例化wb = Workbook()# 激活 worksheetws = wb.active# 保存表格wb.save("C:/TEMP/test1.xlsx")2、读取已有表格from openpyxl import load_workbookwb2 = load_workbook("C:/TEMP/test2.xlsx")print(wb2.sheetnames)3、创建工作簿fro原创 2021-09-17 12:04:14 · 857 阅读 · 0 评论 -
DataFrame自定义函数运用
数据读取#读取excel跳过第一行df=pd.read_excel('C:/TEMP/征像模板01.xls',header=0, skiprows=[0])#将索引列改为序号,编号由1开始(原起始为0,加1即可)df.index.name='序号'df=df.rename(index=lambda x:x+1)数据处理#定义一个函数#例:正则提取def get_conditions(CONDITIONS): list_ret=re.findall(r"(?<=..原创 2021-09-17 10:01:33 · 979 阅读 · 0 评论 -
Python如何实现Word文件批量信息提取与结构化解析
数据示例:文件内容分为两部分,一种为表格形式Word中的第一个表格一种为文本段落形式Word文件中需要结构化处理的内容需求:将表格中文本进行提取,第一列为字段名,第二列为数据内容将段落中的内容按照符号【字段】内容 对应关系转为表格处理步骤:from docx import Documentimport pandas as pdpath = "./data/保健食品备案/食健备G201845001742.docx"docx = Docu原创 2021-07-13 21:28:39 · 4912 阅读 · 3 评论 -
Python实现PDF文件转表格
方式一:tabula-py需要安装java#pip install tabula-pyimport tabulaimport pandas as pddf = tabula.read_pdf("D:\\我的文档\\Python\\2019221145237597.pdf", encoding='gbk', pages='all')print(df)for indexs in df.index: # 遍历打印 print(df.l原创 2021-05-18 14:30:43 · 1126 阅读 · 0 评论 -
将DataFrame第一行转为表头
1、需求,将第一行作为标题arr=ddf[1].valuesdf = pd.DataFrame(arr[1:,1:], index=arr[1:,0], columns=arr[0,1:])df.index.name = arr[0,0]df2、将过程封装为函数def change_df(df): arr=df.values new_df = pd.DataFrame(arr[1:,1:], index=arr[1:,0], columns=arr[0,1:])原创 2021-05-06 11:39:09 · 14732 阅读 · 0 评论 -
Python控制手机实现抖音极速版快手极速版自动刷金币
一、安装Python需要的包https://blog.csdn.net/FG24151110876/article/details/103867863二、给手机安装ATX控制软件pip install uiautomator2https://blog.csdn.net/FG24151110876/article/details/103868335三、代码3.1、基于图片识别,通过代码对手机进行截图,裁切要识别的位置3.2、程序每20分钟进行一次抖音宝箱广告,然后随机重新启动抖音原创 2021-03-28 12:42:21 · 15533 阅读 · 25 评论 -
Python 文件的路径操作
Python 文件的路径操作os.getcwd()#获得当前工作目录 os.chdir()#指向某目录 os.makedirs()#创建新文件夹 os.path.getsize()#查看文件大小 os.listdir()#返回文件夹下名字字符串的列表os.listdir(os.getcwd())原创 2021-03-12 10:08:35 · 124 阅读 · 0 评论 -
Python pip 镜像源
pip 安装第三方库速度太慢可设置 pip 从国内的镜像源下载安装阿里云http://mirrors.aliyun.com/pypi/simple/中国科技大学https://pypi.mirrors.ustc.edu.cn/simple/豆瓣http://pypi.douban.com/simple/清华大学https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学http://pypi.mirrors.ustc.edu.cn/simple...原创 2021-03-08 16:02:05 · 127 阅读 · 0 评论 -
Redis数据存储实现键值匹配应用
实现数据的拆分匹配与结果合并导入Python包 创建连接 准备键值数据 将数据写入Redis数据库 按需读取 封装函数 测试结果将函数转为PostgreSQL函数 创建函数 DROP FUNCTION IF EXISTS get_Redis;CREATE OR REPLACE FUNCTION get_Redis(classification TEXT,separator TEXT) RETURNS textAS $$import redisr = redis.原创 2020-12-02 19:36:34 · 207 阅读 · 0 评论 -
中华人民共和国县以上行政区划代码采集(Python)
网站http://www.mca.gov.cn/article/sj/xzqh/2020/爬取网页地址(2020年8月中华人民共和国县以上行政区划代码)http://www.mca.gov.cn//article/sj/xzqh/2020/2020/2020092500801.html网页预览爬虫代码# -*- coding: utf-8 -*-"""Created on Tue Nov 17 14:02:23 2020@author: 樊纲"""..原创 2020-11-18 10:16:54 · 920 阅读 · 0 评论 -
Python函数如何转为PostgreSQL函数进行数据处理
需求:已知文本,如:“规格:0.5g;批准文号:国药准字H20183121;适应症:治疗巨细胞病毒视网膜炎、 器官移植患者预防巨细胞病毒疾病”将字段中文本中 规格、批准文号、原批准文号、适应症 进行提取到对应的列。某些提取结果可能不存在处理思路:① 将文本用分号;进行拆分成列表var='规格:0.5g;批准文号:国药准字H20183121;适应症:治疗巨细胞病毒视网膜炎、 器官移植患者预防巨细胞病毒疾病'var.split(';')得到分割后列表['规格:0.5g', '批原创 2020-11-16 16:43:35 · 160 阅读 · 0 评论 -
Centos 安装jupyter与修改笔记目录和实现远程访问
一、安装命令pip3 install jupyter二、创建配置文件jupyter notebook --generate-config[root@fangangmysql217 /root/.pip]# jupyter notebook --generate-configWriting default config to: /root/.jupyter/jupyter_notebook_config.py三、修改配置vim /root/.jupyter/jupyter.原创 2020-08-12 08:59:11 · 538 阅读 · 0 评论 -
pyecharts-1.8.0数据可视化地图绘制
1、导入包from pyecharts.faker import Fakerfrom pyecharts import options as optsfrom pyecharts.charts import Map2、数据处理将数据从Excel粘贴出来放到代码中provinces='''北京广东上海江苏山东浙江湖南湖北辽宁天津河北四川河南重庆福建江西陕西吉林广西安徽黑龙江山西云南新疆海南内蒙古贵州甘肃宁夏青海西藏广州哈尔原创 2020-06-09 15:34:55 · 3149 阅读 · 0 评论 -
Django2.2安装和使用
一、安装pip install django==2.2升级到最新pip install django -U二、创建工程django-admin.py startproject mysite2三、创建应用四、运行项目python manage.py runserverDESKTOP-R5E7NDM:/mnt/d/程序缓存/webs...原创 2020-04-20 10:52:41 · 1540 阅读 · 0 评论 -
Windows10定时/定期执行Python脚本
1、我的电脑 右键2、选择右键菜单对话框中的管理3、选择系统工具→任务计划程序4、点击创建基本任务5、填写任务名称,并点击下一步6、选择触发器的执行周期,并点击下一步7、设置执行时间,并点击下一步8、选择操作,并点击下一步9、浏览选择脚本,设置参数,并点击下一步10、预览任务,并点击完成...原创 2020-04-16 10:54:06 · 1648 阅读 · 0 评论 -
通过已知药品名称或器械名称,从标题等短文本字段中提取药物名或器械名称
1、原理1.1、从MySQL数据库读取药品名称或器械名称列表A1.2、从MySQL数据库中读取需要处理的提取名称的短文本列表B1.3、将B中的短文本进行循环取出,与列表A中的名称进行比对,如果存在字符串包含或者正则包含关系的名称添加到结果中1.4、将结果更新到MySQL列表B对应的相关字段中2、代码# -*- coding: utf-8 -*-"""Created o...原创 2020-03-31 19:47:48 · 503 阅读 · 0 评论 -
高德地理编码与搜索服务-关键字查询的运用(已知地址返回省份+城市+区县)
1、注册高德开发平台https://lbs.amap.com/2、创建应用并添加key3、API文档https://lbs.amap.com/api/webservice/guide/api/search4、编写Python函数import requests# 地理编码def geography(address): key=''#填写KEY url...原创 2020-03-25 09:37:55 · 1233 阅读 · 0 评论 -
PostgreSQL编写Python函数进行简单数据清洗
一、自定义Python函数import redef Data_cleaning(arguments):#数据清洗函数 arguments=str(arguments) arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格,保留一个 arguments=re.sub('[\n\t\r]','',arguments)#去掉回车换...原创 2020-03-12 10:18:16 · 971 阅读 · 0 评论 -
抖音极速版/快手极速版自动浏览
1、安装Python需要的包pip install uiautomator22、运行脚本# -*- coding: utf-8 -*-"""Created on Tue Mar 10 19:24:06 2020@author: FanGang"""import uiautomator2 as u2import timeimport randomd = u2...原创 2020-03-10 21:01:09 · 17581 阅读 · 2 评论 -
基于规则的正则年龄提取
1、自定义Python函数def normative_age(text,fag): res=None #结果 nus=None #数值 y_res=None y=re.compile(r'year|age old',re.I) #忽略大小写 m=re.compile(r'month',re.I) #忽略大小写 w=re.compile(r'we...原创 2020-02-21 12:00:55 · 651 阅读 · 0 评论 -
Android手机连接
SDK Platform Tools 版本说明Android SDK Platform-Tools 是 Android SDK 的一个组件。它包含与 Android 平台进行交互的工具,例如adb、fastboot和systrace。开发 Android 应用时需要使用这些工具。如果您想要解锁设备的引导加载程序并为其刷入新的系统映像,则同样需要使用这些工具。虽然这些工具中的某些...原创 2020-01-07 08:53:53 · 3149 阅读 · 1 评论