【python】
后端沉思录
不断学习的小学生。
展开
-
记录xpath解析html的一个坑
使用xpath解析表格时,个别td标签内容为空,导致解析出来的数组列数有问题,进而在写入csv文件时,数据错位。解决的办法用占位符填补空白:text.replace(r'<td style="white-space: pre-wrap;"></td>', '<td style="white-space: pre-wrap;">None</td>')https://lioswong.gith原创 2020-05-14 10:15:24 · 669 阅读 · 0 评论 -
python小白爬取某东bra数据分析
最近用python爬取了某东上的x款bra的用户评论,然后进行了size、color分析,直接上图:从图表上分析初步得出该款bra黑色较受欢迎,购买的小姐姐size 75B最多~下面通过数据爬取、数据解析、图表分析三方面分析。数据爬取def doPullData(): # 设置请求头 headers = { &quot;:authority&quot;: &quot;sclub.jd....原创 2019-01-10 23:49:13 · 1039 阅读 · 0 评论 -
python初试
最近使用python批量处理业务需求,大概是读取本地文件中的每一行订单号,然后发起http请求接口,处理具体的业务,由于实现起来很简单,所以使用python最适当不过了。python代码:# -*- coding: UTF-8 -*-import timeimport jsonimport requestsdef doIndexratePost(orderNo): // body...原创 2019-01-05 23:01:28 · 611 阅读 · 0 评论 -
python基础(持续更新)
本文参考廖雪峰Python教程数据类型整数Python可以处理任意大小的整数,当然包括负整数,在程序中的表示方法和数学上的写法一模一样,例如:1,100,-8080,0,等等。浮点数浮点数也就是小数,之所以称为浮点数,是因为按照科学记数法表示时,一个浮点数的小数点位置是可变的,比如,1.23x109和12.3x108是完全相等的。浮点数可以用数学写法,如1.23,3.14,-...转载 2019-01-24 11:41:57 · 640 阅读 · 0 评论 -
史上最全国家统计局划分代码爬取
由于工作中使用国家统计局划分的区域码,本文使用python爬取地方划分码,地址:http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/本文爬取的是2018年发布的划分码,最新的划分码分为省、市、县、城镇、村庄.代码:# -*- coding: utf-8 -*-import requestsimport sysimport refrom b...原创 2019-02-10 01:33:15 · 5481 阅读 · 4 评论