Python
文章平均质量分 75
嗨皮螃
喜欢软件,喜欢创造
展开
-
win7搭建python环境
看了python基础几天,在某大佬的怂恿下开始接触 爬虫,原本想用linux虚拟机来执行python代码,奈何虚拟机连不了网,貌似被网管禁止,折腾了一天无果后打算直接在本机搭建Python环境和爬虫的相关插件 安装Python Python官网: https://www.python.org/downloads/ 下载安装win版本的Python,我下载的是python...原创 2018-09-29 08:48:03 · 6008 阅读 · 0 评论 -
python爬取json接口
在某大佬的指导下,接触第一个爬虫,这里是爬取了一个网站的接口数据并且保存成Excel文档,代码不多,重在认识爬虫Python写爬虫真的是爽#! /usr/bin/env python# coding=utf-8import requestsimport jsonimport sysimport xlwtses = requests.session() ## requests...原创 2018-09-29 08:59:04 · 5495 阅读 · 1 评论 -
Python爬取XML接口的数据
爬取XML的数据和爬取json的数据差不多,区别在于XML有树结构,不过Python提供了很强大的lxml模块#! /usr/bin/env python# coding=utf-8import requestsfrom lxml import etreeimport sysimport xlwt#初始化reload(sys)sys.setdefaultencoding('...原创 2018-09-29 09:05:41 · 1628 阅读 · 1 评论 -
Python 中文爬虫
最近因为网站的数据需要推送,但实现的方式是通过打开网站链接 来 实现这种推送方式的,几万条数据需要推送,而每次推送只有几百条数据。为什么每次只能推送几百条?因为数据量太多了,Apache长时间运行一个链接会报超时的错误。但机械性打开链接着实麻烦,所有用 python 写了一个爬虫来反复打开这个链接,直到全部数据推送完成。先上代码:#! /usr/bin/env python# codi...原创 2018-11-07 11:03:21 · 632 阅读 · 0 评论 -
python读取文件乱码问题
今天突然想做一个实时读取 日志文件的程序,然后用Python爬虫直接爬取文件,用只读的方式打开避免对 系统 写入日志 造成影响。上代码:#! /usr/bin/env python# coding=utf-8import subprocessimport timeimport chardetp = 0with open('php_sql_err_2018-11-08.log...原创 2018-11-08 11:52:56 · 2406 阅读 · 0 评论 -
用Python获取最新的省、市、县
因为数据库的数据信息建于12年,很多地区三级关系和名称都跟不上了,让我手动一个个添加又觉得麻烦,怎么说我也是一个码农而不是文员,上代码:#! /usr/bin/env python# coding=utf-8import requestsfrom lxml import etreeimport sysimport xlwtimport reimport copyimport ...原创 2018-11-14 10:05:51 · 3261 阅读 · 1 评论