python爬虫
文章平均质量分 76
snistty
数据分析养成记
展开
-
python内建库-urllib
介绍 urllib是Python自带的标准库,无需安装,直接可以用。 提供了如下功能: 网页请求 响应获取 代理和cookie设置 异常处理 URL解析 爬虫所需要的功能,基本上在urllib中都能找到,学习这个标准库,可以更加深入的理解后面更加便利的requests库。 urllib,urllib2,request之间的关系 在Python2中,分为urllib库和urllib2库,...原创 2018-12-08 22:08:56 · 724 阅读 · 0 评论 -
[转]json模块使用说明
目录 1. 概述 2. 读取JSON 2.1 最简单的例子 2.2 bytes和bytearray数据 2.3 编码格式 2.4 数据类型转换 2.5 自定义JSON对象转换类型 2.6 自定义JSON数字转换类型 2.7 非对象顶级值 2.8 重复键名 2.9 处理JSON数据文件 3 生成JSON 3.1 编码格式 3.2 数据类型转换 3.3 循环引用 3.4...转载 2018-12-19 16:21:42 · 737 阅读 · 0 评论 -
pymysql模块:通过python操作MySQL
我们使用python爬取得到的数据,有时候会数据量特别大,需要存入数据库。 需要注意的是,MySQL是一种关系型数据库管理系统,利用MySQL可以对数据库进行操作,而MySQL并不是一个数据库。 而pymysql库的作用就是在python中对MySQL进行操作。 简单来说,使用pymysql库对MySQL进行操作,分为以下三个步骤: 1. 同MySQL建立连接 要对MySQL进行操...原创 2018-12-19 17:33:49 · 439 阅读 · 0 评论