python
何忧非喜{傲娇的程序媛}
源于生活,更源于兴趣!
***开源的忠实码粉***
展开
-
pandas读取txt文件,目标数据进行列合并和筛选
根据业务需求,需要对不同数据库的数据进行查询,对其结果进行处理原创 2021-07-09 16:58:08 · 918 阅读 · 0 评论 -
使用SSHTunnelForwarder跳板机连接redis
使用SSHTunnelForwarder跳板机连接redis原创 2021-06-25 14:48:17 · 680 阅读 · 0 评论 -
python批量数据入库
批量创建测试数据原创 2021-05-19 15:10:28 · 411 阅读 · 0 评论 -
mysql去重查询利用Python进行需要删除的id整理
数据库A表数据phone字段有重复,需要保留最大ID行记录,其余删除。利用mysql查询出满足条件的所有ID,然后利用Python获取需要删除的id原创 2020-09-09 16:16:58 · 525 阅读 · 0 评论 -
python根据url保存原网页并下载相关js和css文件
# -*- coding: utf-8 -*-import requestsfrom lxml import etreeimport reimport osheader = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}onpath = os.getcwd()原创 2020-07-30 10:11:09 · 2113 阅读 · 1 评论 -
dataframe和list两种类型求差集生成Excel
dataframe和list两种类型求差集生成Excel原创 2020-06-10 13:29:16 · 229 阅读 · 0 评论 -
循环读取某一类文件,将结果追加到新的列表生成Excel
循环读取某一类文件,将结果追加到新的列表生成Excel原创 2020-06-10 13:24:58 · 156 阅读 · 0 评论 -
利用pandas将Excel分组比较获取差集并
利用pandas将Excel分组比较获取差集并利用groupby可以快速分组,组合到目标数据利用dataframe的某列的值来获取该值所在的行原创 2020-06-10 11:33:50 · 889 阅读 · 0 评论 -
5G的sql文件利用python进行数据统计
由于mysql文件过大,source导入本机也要两天多,于是利用python进行数据统计分析原创 2020-05-06 13:33:25 · 300 阅读 · 2 评论 -
python根据mp4地址下载本地
视频下载import requestsdef download_video(v_url,v_path): headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0....原创 2020-04-23 15:49:22 · 607 阅读 · 0 评论 -
linux服务器log日志通过python统计生成图表(LOG日志统计一)
linux服务器log日志通过python统计生成图表(LOG日志统计一)原创 2020-03-30 17:10:55 · 1241 阅读 · 0 评论 -
根据csv制作多列数据柱形图表并生成html
数据表收录已经过千万了,为了分表,先用sql调出数据然后渲染csv如下:代码如下:# -*- coding: utf-8 -*-# pip install pyechartsimport pandas as pdimport numpy as npfrom pyecharts import Bardf = pd.read_csv("monthbybdtype.csv")...原创 2020-03-11 11:25:15 · 1585 阅读 · 0 评论 -
根据excel制作柱形图表并生成html
复工第一天,统计数据增长趋势,mysql导出csv,然后生成HTML页面图表csv格式python代码# -*- coding: utf-8 -*-# pip install pyecharts"""按月展示房源每日新增统计图"""import pandas as pdimport numpy as npfrom pyecharts.charts import Bardf...原创 2020-03-09 16:55:03 · 591 阅读 · 0 评论 -
python统计excel利用pandans的分组
python统计excel利用pandans的分组,其中还用列表数据求差集原创 2019-12-25 14:31:44 · 446 阅读 · 0 评论 -
软考试题希赛网爬取过程分享一
作为开发人员,不论出于什么原因,都是有需求才有功能,才有我们描绘蓝图的机会或动力承接上篇【python爬取软考每日一练试题存入数据库】的源码分享,这次着重开发思路和过程爬取试题的起因(可略过)之前总以为即使没有较高的学历,有能力,有学习力就可以了。可是,实际情况,当作为父母后,面临孩子上学,要积分的硬性要求,我又踏上了考试的征途。软考,作为码农,说这是对我们的赏赐都不为过。利用碎片化时...原创 2019-12-20 17:12:30 · 1879 阅读 · 1 评论 -
python爬取软考每日一练试题存入数据库
最近打算刷关于数据库的题,对应非会员,只能做题每日一练了,可是刷题时间基本都是地铁上,所以讲题爬下来,用vue做个简单的页面原创 2019-12-20 15:22:23 · 636 阅读 · 0 评论 -
python对TXT文本数据分组统计
txt文档转dataframe写入excel文本格式:市名-区名-街道名# -*- coding: utf-8 -*-import pandas as pdimport numpy as npdf = pd.read_table('no_street.txt')list=[]for i in df.values: print(i[0]) li = i[0].sp...原创 2019-11-04 09:49:13 · 2639 阅读 · 1 评论 -
日常
需求:每五分钟推送一次背景:这个软件主要是关于房客源信息的实时采集的一个APP,利用爬虫由用户触发或者爬虫定时任务录取数据,通过用户查看房源详情首次爬取详细信息入库保存。软件有300多个市,3600个区域,每日日活1000多,房客源每日新增数据20-30万。目前,房源数据量约1000万,用户可订阅关注区域,由个推即时推送新房客源信息。场景:现推送机制“有新数据入库,然后调用个推接口进行对应...原创 2019-10-23 13:21:07 · 152 阅读 · 0 评论 -
scrapy框架循环多层页面爬取数据写入数据库或文档
需求公司app有个模块,需要做手机号段检索,便于导入指定市的电话参考第三方网站:http://m.jihaoba.com/tools/haoduan/利用scrapy框架,爬取城市和号段,存入数据库,数据结构:create table `fcxlt_fans_data`( `id` bigint NOT NULL AUT...原创 2019-08-30 15:07:02 · 1801 阅读 · 0 评论 -
tornado的websocket的聊天
今天看了python tornado的websocket,跑起来了,不理想。cookie不支持,先运行看下效果![](https://img-blog.csdnimg.cn/20190905172716625.png# 引入需要的模块# import tornado.web# import tornado.ioloopimport tornado.optionsimport torn...原创 2019-09-05 17:28:40 · 160 阅读 · 0 评论 -
pandas统计数据-json转list,拼接列表实现dataframe
调查问卷,根据答案统计,数据库保存方式为json的字符串需求:APP里面的调查问卷,已经正式运营一周,老板要一份调查问卷的统计,依据题目,答案统计数目和所占百分比分析:数据保存方式,所有用户提交内容保存一个json的字符串,现在要对里面每个字段进行统计数据如下:方案一:利用PHP,获取jstext的结果集,根据题目,循环拼接,对应字段字符串,该字符串包含用户答案,根据答案查找出现次数...原创 2019-09-10 14:51:49 · 2137 阅读 · 1 评论 -
利用pandans获取两张excel指定列的交集
需求:txt.xlsx 有效数据无ID,oldtxt.xlsx所有数据包括txt.xlsx的手机号且对应ID。需要比对两个文件的列,获取交集的ID集合oldtxt.xlsx 约100万条数据txt.xlsx 约两万条数据利用pandas的merge快速获取目标数据的ID,最终安装需要的结构拼接写入文本或者数据库。代码如下:import pandas as pdimport xlrdi...原创 2019-09-16 15:08:21 · 1967 阅读 · 0 评论 -
python实现excel数据导入mysql
excel数据导入mysqlexcel数据格式:import pandas as pdimport xlrdimport xlwtimport pymysqldf=pd.read_excel('1.xlsx')#总行数 len(df)nums = df.shape[0]#数据清洗nan默认为0df.fillna(0, inplace= True)#删除第一行无用数据ds...原创 2019-09-23 16:49:16 · 1743 阅读 · 4 评论 -
dataframe处理excel基础内容
读取excel表格数据内容方法一:import pandas as pddf = pd.read_excel('test.xlsx')# 指定sheetdf = pd.read_excel('test.xlsx', sheet_name='one')方法二:import pandans as pddf = pd.ExcelFile('test.xlsx')# 获取所...原创 2019-09-24 13:06:50 · 2203 阅读 · 0 评论 -
python实现环信注册用户
环信注册用户,用PHP一直报错,最后用python实现了import pandas as pdimport requestsimport jsonimport numpy as npdf = pd.read_excel('phone.xlsx')class NpEncoder(json.JSONEncoder): def default(self, obj): ...原创 2019-09-25 17:05:38 · 208 阅读 · 1 评论 -
字典转dataframe写入excel且创建多个sheet
从环信请求的批量用户信息,分页在返回结果cursor里面,且不固定。返回结果集是json字符串,利用列表追加或者扩展的属性进行全局变量赋值,然后写入excel统计查看。代码如下:# -*- coding: utf-8 -*-import requestsimport jsonimport pandas as pd"""查看环信注册用户数据"""headers = { ...原创 2019-09-26 13:08:37 · 1578 阅读 · 0 评论 -
numpy将dataframe和list相互转换,实现求差集
标题通过nparray将dataframe数据可以转为list,然后求交集差集等# -*- coding: utf-8 -*-import pandas as pdimport numpy as npjjrmember = pd.read_excel('jjr_member_26.xlsx')kfmember = pd.read_excel('kf_member_26.xlsx')...原创 2019-09-27 10:36:54 · 339 阅读 · 0 评论 -
python3通过ssh隧道连接mysql
python3通过ssh隧道连接mysql# -*- coding: utf-8 -*-import pymysqlfrom sshtunnel import SSHTunnelForwarderserver = SSHTunnelForwarder( ssh_address_or_host=('IP', 22), # 指定ssh登录的跳转机的address ...原创 2019-10-08 14:51:45 · 1321 阅读 · 0 评论 -
python 分析access.log,根据IP粗略统计次数
python 分析access.log,根据IP粗略统计次数,#-*- coding: utf-8 -*-import sysimport osimport pandas as pdfrom collections import Counterimport xlwtimport redef getlog(): current_dir=os.path.dirname(__...原创 2019-08-15 15:24:42 · 434 阅读 · 0 评论