python爬虫视频笔记

最简单的爬虫代码

import requests
from PIL import Image
from io import  BytesIO

def sample_geturl(url):
    aaa=requests.get(url)
    print dir(url)#aaa支持哪些方法和属性
    print ('\t'+ str(aaa.status_code))#返回的状态码 200表示请求成功
    print ('\t'+ str(aaa.headers))#返回的头部内容
    print ('\t'+ str(aaa.encoding))#返回的编码方式
    print ('\t'+ aaa.text)#返回的内容

if __name__=='__main__':
    sample_geturl('https://blog.csdn.net/bbwangj/article/details/90581200')

在反爬虫机制中会检查头部信息来判断你是否是机器人（因为依靠request发送请求时不带任何头部信息）
解决：获取头部信息

def own_header(url):
    ua=''#检查-network-all-headers-user-agent  :包含了浏览器的信息，说明自己不是机器人
    aaa=requests.get(url,headers={'user-agent':ua})
    print(aaa.text)

获取json格式的数据

def get_json_data(url):
    aaa=requests.get(url)
    bbb=aaa.json()  #将url里的数据转为json格式--字典
    print (type(bbb))
    print(bbb)

什么是json:

• JSON 是一种轻量级的数据格式，他基于 javascript 语法的子集，即数组和对象表示。由于使用的是 javascript 语法，因此JSON 定义可以包含在javascript 文件中，对其的访问无需通过基于 XML 的语言来额外解析。不过在使用 JSON 之前，很重要的一点是理解 javascript 中数组及对象字面量的特殊语法
• JSON 与 XML相比的一大优点就是它更加简单。网上对于请求返回的不是json格式的就是XML格式的
• python内置有json库

什么是xml

• XML 被设计用来传输和存储数据。HTML 被设计用来显示数据。
• XML 不会做任何事情。XML 被设计用来结构化、存储以及传输信息。
• XML 不是 HTML 的替代。HTML 旨在显示信息，而 XML 旨在传输信息。
• XML 是一种很像HTML的标记语言。
• 参考：https://www.runoob.com/xml/xml-intro.html

XML有两种处理方式——Dom 和 SAX
什么是Dom，什么是SAX

• SAX和DOM是解析XML的两个主要方案
• dom是w3c指定的一套规范标准，核心是按树形结构处理数据，dom解析器读入xml文件并在内存中建立一个结构一模一样的“树”，这树各节点和xml各标记对应，通过操纵此“树”来处理xml中的文件。xml文件很大时，建立的“树”也会大，所以会大量占用内存。
• SAX顺序读入所需要的文件内容，不会一次性全部读取，不受文件大小的限制
  *dom代码实现简单，容易理解 ，但需要把整个XML读入内存，解析为树，占用内存大，解析慢。
• SAX边读边解析，占用内存小，解析快，缺点是我们需要自己处理事件，代码实现难不易理解。

python中对json格式数据的处理

• dumps() :将字典dict()转为json格式 #实际上是将dict()转换为str类型
• load() :将json转为dict格式

什么是解析网页