清舟-CSDN博客

原创 python爬虫1

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scratch，是抓取的意思，...

2018-06-21 00:00:52 132

原创萌新学python3.0 笔记第9课时 xml文件

python有三种方法解析XML，SAX，DOM，以及ElementTree1.SAX (simple API for XML )python 标准库包含SAX解析器，SAX用事件驱动模型，通过在解析XML的过程中触发一个个的事件并调用用户定义的回调函数来处理XML文件。2.DOM(Document Object Model)将XML数据在内存中解析成一个树，通过对树的操作来操作XML。3.SAX...

2018-06-19 01:04:37 169

原创萌新学python3.0 笔记第8课时文件读写

打开和关闭文件：open()函数：必须使用内置函数open（）打开一个文件,创建一个file对象，相关方法才可以调用进行读写。语法： file object = open(file_name [,access_mode] [,buffering ]) 也可以加encoding ...

2018-06-13 22:15:50 134

原创萌新学python3.0 笔记第7课时装饰器闭包

闭包：在一些语言中，在函数中可以（嵌套）定义另一个函数时，如果内部的函数引用了外部的函数的变量，则可能产生闭包。闭包可以用来在一个函数与一组“私有”变量之间创建关联关系。在给定函数被多次调用的过程中，这些私有变量能够保持其持久性。python语言中形成闭包的三个条件：1)必须有一个内嵌函数(函数里定义的函数）——这对应函数之间的嵌套2)内嵌函数必须引用一个定义在闭合范围内(外部函数里)的变量——内...

2018-06-12 00:00:03 137

原创萌新学python3.0 笔记第6课时日志推倒迭代生成器

日志：日志等级：logging.debug(msg, *args, **kwargs) logging.info(msg, *args, **kwargs) logging.warning(msg, *args, **kwargs)logging.error(msg, *args, **kwargs)logging.critical(msg, *args, **kwargs)日志级别排序 CRI...

2018-06-06 22:26:51 134

原创萌新学python3.0 笔记第5课时面向对象

面向对象技术简介类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。方法：类中定义的函数。类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。数据成员：类变量或者实例变量用于处理类及其实例对象的相关的数据。方法重写：如果从父类继承的方法不能满足子类的需求，可以对其进行改写，这...

2018-06-04 19:34:19 170

原创萌新学python3.0 笔记第4课时常用函数，sorted , 类与对象

参数分为可变参数(列表，字典,set)，不可变参数(string,Number, 元组).全局变量（声明在函数外，如果在函数内使用则需要 global）如：b=10 del test(): global b=5 可变类型的变量为全局变量时。不需要写global,但是不可变类型的对象为全局变量时则需要声明global三个大数据重要...

2018-05-30 23:59:47 163

原创萌新学python3.0 笔记第3课时元组字典 set

Python3 元组Python的元组与列表相似，不同的是元组的元素不能修改。元组使用小括号，列表使用方括号。元组创建只需要在括号中添加元素，并使用逗号隔开即可。如：tup1=('Google','Runoob',1997,2000) tup2=(1,2,3,4,5) tup3="a","b","c","d"; #不需要括号也可以创建空元组 tup...

2018-05-28 19:54:24 129

原创萌新学python3.0 笔记第2课时

Python转义字符在需要在字符中使用特殊字符时，python用反斜杠(\)转义字符。如下表：转义字符描述\(在行尾时)续行符\\反斜杠符号\'单引号\"双引号\a响铃\b退格(Backspace)\e转义\000空\n换行\v纵向制表符\t横向制表符\r回车\f换页\oyy八进制数，yy代表的字符，例如：\o12代表换行\xyy十六进制数，yy代表的字符，例如：\x0a代表换行\other其它的...

2018-05-23 22:35:08 149

原创萌新学python3.0 笔记第1课时

Python的3.0版本，常被称为Python 3000，或简称Py3k。相对于Python的早期版本，这是一个较大的升级。为了不带入过多的累赘，Python 3.0在设计的时候没有考虑向下兼容。1.python变量无需关键字，例如： a=102.python是一种强类型的语言（不定），每一个变量都是一个引用。3.print（）换行，print（end=" "）不换行4.python中单引号和双...

2018-05-21 23:46:50 145

qq_38929454的博客