爬虫学习第一天

嗯嗯 今天学习了来自Jack-Cui大大的网络爬虫(四)(http://blog.csdn.net/c406495762/article/details/60137956)

感觉对于一个爬虫来说 最基础的就是四步

from urllib import request

第一步  输入网址

url = 'http://www.csdn.net/'

第二部 创建 request对象 

req = request.Request(url)

第三部  传输创建好的对象

response = request.urlopen(req)

第四部 读取并解码传输来的信息

html = response.read().decode('utf-8')

然后 就可以对数据进行操作了

这一章讲的是 使用 User-Agent 有些网站就是靠这个来反爬虫的 如果我我们不修改 requset.Request()的 header 参数的话 默认就是Python 这样一看就看出来

所以我们要对其进行伪装

我使用的是

是这个

head['User-Agent']="Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"

这是Google Chrom 的参数

 

接着是怎么实现

第一方法是 构造一个 字典 head = {} 传参的时候把这个作为参数传进去就可以了

# -*- coding : UTF-8 -*-

from urllib import request

if __name__ == "__main__":
    # url = "http;//www.csdn.net/" 不行
    url = 'http://www.csdn.net/' #可以
    head ={}
    head['User-Agent']="Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"
    #创建 request对象
    req = request.Request(url,headers = head)
    #传输好的request 对象
    response = request.urlopen(req)
    #读取响应信息并解码
    html = response.read().decode('utf-8')
    print(html)

附上结果

第二种是使用 add_header()函数 这个就是直接创建好request对象之后 往里面传参了 

# -*- coding: UTF-8 -*-

from urllib import request

if __name__=="__main__":
    url = 'http://www.csdn.net/'
    req = request.Request(url)
    req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0")
    response = request.urlopen(req)
    #没有弹出后续( •̀ ω •́ )y
    html = response.read().decode('utf-8')
    print(html)

不过作者说 没有UA 的话 可能会出问题 我就想看看会出什么问题 就把那两行代码注释了

#-*- coding: UTF-8 -*-
# 好像不加head 也不是不行
from urllib import request

if __name__=="__main__":
    url = 'http://www.csdn.net/'
    # head ={}
    # head[
    #     'User-Agent'] = 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'
    req = request.Request(url)
    response = request.urlopen(req)
    html = response.read().decode('utf-8')
    print(html)

然后结果很迷

还是可以... ...