python爬虫学习（一）

   

    学习Python爬虫是一个很头疼的事，尤其是英语不是太好的，，，，

    不过学会了很有用处，本着这个想法，我开始了艰难的学习过程,。

    鉴于网上的各种参考，加上专业课Python的课程是以Python3环境为教学的，这里学习均为Python3的环境。

 

   首先学习简单的网页抓取，这里使用urllib。

    直接上代码

import urllib.request
#在Pyhon3.x中urllib2已经不能用了，这里用的是urllib.request,是一样的

url = 'https://home.firefoxchina.cn/'

T = urllib.request.urlopen(url,timeout = 3)
#url是上面的字符串，传入为网络地址，timeout为超时设置，这两个参数比较常用

print("获取url信息:%s"%T.geturl())#网站的网址
print("获取返回代码：%s"%T.getcode())#这个一般是200，也可能为404,501什么的
print("获取返回信息:%s"%T.info())#网站的基本信息

html = T.read()
#将网站的信息存到变量html中

#print(html)

html=html.decode('utf-8')
#将得到的信息解码，如果不进行解码，得到的将是一串乱码

print(html)
#在火狐主页页面按下F12得到的信息是和这个一样的

   这样就爬取到了网页的源码，网页所有的信息都可以在源码中找到，我们提取资源也是从源码中提取。