![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 61
瞿凯Kai
记录我的爬虫人生
展开
-
Python003
学习总结三综合练习练习1:#输入三个数找出最大值a = float(input('输入第一个数:'))b = float(input('输入第一个数:'))c = float(input('输入第一个数:'))if a > b and a > c: max = aelif b > a and b > c: max = b...原创 2018-03-10 09:03:47 · 162 阅读 · 0 评论 -
Python爬虫day6—异步IO(协程)
异步IO定义在一个线程中,CPU执行代码的速度极快,然而,一旦遇到IO操作,如读写文件、发送网络数据时,就需要等待IO操作完成,才能继续进行下一步操作。这种情况称为同步IO。在IO操作的过程中,当前线程被挂起,而其他需要CPU执行的代码就无法被当前线程执行了。因为一个IO操作就阻塞了当前线程,导致其他代码无法执行,所以我们必须使用多线程或者多进程来并发执行代码,为多个用户服务。每个用户都会...原创 2018-06-09 14:00:26 · 295 阅读 · 0 评论 -
Python爬虫day3—安装redis、Mongodb并连接服务器
安装redis下载redis源代码安装# 下载源代码wget http://download.redis.io/releases/redis-3.2.11.tar.gz # 解压缩gunzip redis-3.2.11.tar.gz# 解归档tar -xvf redis-3.2.11.tarcd redis-3.2.11make && make instal...原创 2018-06-01 20:50:30 · 282 阅读 · 0 评论 -
Python爬虫day2—连接mysql和redis
数据采集和解析爬虫开发所需工作及相关技术简要汇总:下载数据 - urllib / requests / aiohttp解析数据 - re / lxml / beautifulsoup4(bs4)/ pyquery缓存和持久化 - pymysql / redis / sqlalchemy / peewee / pymongo序列化和压缩 - pickle / json / zlib...原创 2018-05-30 17:33:44 · 266 阅读 · 0 评论 -
Python爬虫day4—面向对象及启用多线程创建爬虫
一个简单的面向对象多线程爬虫原创 2018-06-05 20:57:56 · 681 阅读 · 0 评论 -
Python爬虫day8—Scrapy实战之爬图片并保存本地及mongodb
scrapy实战之网页动态加载一、首先创建项目scrapy startproject image360二、然后创建爬虫scrapy genspider image image.so.com三、定义item使用pycharm打开项目,定义ittem.py文件import scrapyclass BeautyItem(scrapy.Item): ...原创 2018-06-12 19:51:22 · 1675 阅读 · 0 评论 -
Python爬虫day1
网络爬虫简介:网络爬虫(web crawler),以前经常称之为网络蜘蛛(spider),是按照一定的规则自动浏览万维网并获取信息的机器人程序(或脚本),曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道,网页中除了供用户阅读的文字信息之外,还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此,网络数据采集的过程就像一个爬虫或者蜘蛛在网络...原创 2018-05-29 19:47:53 · 336 阅读 · 0 评论 -
Python爬虫day5—模拟登录、驱动浏览器及图片处理
模拟登录网页登录方法一:import requestsfrom bs4 import BeautifulSoupdef main(): resp = requests.get('http://github.com/login') if resp.tatus.code != 200: return # 获取cookies cookies ...原创 2018-06-04 20:06:32 · 402 阅读 · 0 评论 -
Python008
学习总结八pygame小游戏(面向对象)练习1五子棋import pygameEMPTY = 0BLACK = 1WHITE = 2black_color = [0, 0, 0]white_color = [255, 255, 255]class RenjuBoard(object): def __init__(self): sel...原创 2018-03-24 16:05:31 · 174 阅读 · 0 评论 -
Python007
学习总结七面向对象进阶@property属性装饰器关于Python中属性和方法访问权限的问题,虽然我们不建议将属性设置为私有的,但是如果直接将属性暴露给外界也是有问题的,比如我们没有办法检查赋给属性的值是否有效。我们之前的建议是将属性命名以单下划线开头,通过这种方式来暗示属性是受保护的,不建议外界直接访问,那么如果想访问属性可以通过属性的getter(访问器)和setter(修...原创 2018-03-19 00:40:17 · 270 阅读 · 0 评论 -
Python006
学习总结六面向对象编程含义:把一组数据结构和处理它们的方法组成对象(object),把相同行为的对象归纳为类(class),通过类的封装(encapsulation)隐藏内部细节,通过继承(inheritance)实现类的特化(specialization)和泛化(generalization),通过多态(polymorphism)实现基于对象类型的动态分派。 1. 类是对象的蓝图和...原创 2018-03-17 13:54:55 · 273 阅读 · 0 评论 -
Python005
学习总结五字符串Python 中最常用的数据类型,可以用引号(‘或”)来创建字符串字符串运算符 str = 'abc123456' print(str[2]) # []表示下标运算符,取出第二位'c' print(str[2:]) # 表示从2取到结尾 print(str[2::2]) # 表示从第2位取元素,步...原创 2018-03-17 10:18:33 · 217 阅读 · 0 评论 -
Python002
学习总结二分支结构 if/elif/else当仅有顺序结构不能解决所有的问题时,就需要使用分支结构。(练习)练习1:用户身份验证username = input('请输入用户名:')password = input('请输入口令:')if username == kai and password == 123: print('身份验证成功!')e...原创 2018-03-03 16:55:35 · 257 阅读 · 0 评论 -
Python 001
学习总结一Python概述:python是一种解释型语言,最大的优点是平台可移植性,最大缺点是执行效率低如今追求的是程序的开发效率而非执行效率可从Python[官方网站]Python.org下载安装程序以及查看相关文档第一个python程序:””” Version: Author: Date: Modifier: Date: ”””print('he...原创 2018-03-03 15:07:04 · 190 阅读 · 0 评论 -
Python004
学习总结四函数定义函数是组织好的,可重复使用的,用来实现单一或相关联功能的代码段函数能提高应用的模块性,和代码的重复利用率定义函数以 def 关键词开头,后接函数标识符名称和圆括号 ()任何传入参数和自变量必须放在圆括号中间,圆括号之间可以用于定义参数函数内容以冒号起始,并且缩进return [表达式] 结束函数,选择性地返回一个值给调用方。不带表达式的ret...原创 2018-03-10 11:06:01 · 295 阅读 · 0 评论 -
Python爬虫day7—Scrapy框架入门
Scrapy爬虫框架入门概述Scrapy是Python开发的一个非常流行的网络爬虫框架,可以用来抓取Web站点并从页面中提取结构化的数据,被广泛的用于数据挖掘、数据监测和自动化测试等领域。下图展示了Scrapy的基本架构,其中包含了主要组件和系统的数据处理流程(图中带数字的红色箭头)。 组件Scrapy引擎(Engine):Scrapy引擎是用来控制整个系统的数据处理流程。...原创 2018-06-09 14:03:47 · 411 阅读 · 0 评论