![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Data-scientist
习勿止境
分享知识,美好生活
展开
-
阿里巴巴《生意参谋(新版)》Python拦截爬取系列之内容数据
所用到主要的库:mitmproxy + pandas+urllib第一步:网页分析(Fiddler获取)第二步:篡改Google本地浏览器——网页监控 第三步: mitmproxy拦截所需网页(根据第一步分析) 第四步:获取数据与清洗 图文: 结果: 短视频与直播数据清洗大同小异。看完有收获点个赞吧!!!...原创 2018-12-20 18:27:58 · 6623 阅读 · 5 评论 -
JSON数据的清洗与写入Excel/CSV/进数据库:pandas清洗数据+df.to_excel 与 df.to_csv 与xlwings写入的异同
一、数据获取:爬虫(或抓包)这里有上万个从网上抓取下来的txt文件数二、数据读取清洗三、总结一、pandas清洗数据 1、数据结构类型{‘a’:'b'}则可直接DataFrame,无需清洗 2、若为{‘a’:'b','value':'c'}巧用字典提取,也可用正则表达式提取所需值 3、常见的类型...原创 2019-03-13 16:15:44 · 1691 阅读 · 0 评论 -
pandas数据清洗入门项目——暴力上传Excel数据至MySQL数据库
需求:这里从网上下载的1000多个Excel表,现需求将所有里面的数据规整化后上传至数据库!需要判断是否上传异常(包括文件下载重复或错误,里面数据的去重处理)这里有三种类型的Excel表需求分别上传至SQL不同的表格,以达到数据的实时更新!!!一、明确需要用的的库Pandas+xlrd(读取整理后匹配数据库的中英文字段) 为何不用pandas.read_exc...原创 2019-03-26 19:45:42 · 571 阅读 · 0 评论