python3的爬虫算法（1）--获取网页数据

python3中根据特定的url获取网页数据的功能很强大，对于爬虫的介绍我也不多说。下面来介绍实现方法

import urllib.request #python3中urllib的特定库
from bs4 import BeautifulSoup
import codecs
url = 'http://day.2345.com/20170228385038.html?top'#此次爬取得是2345网页的笑话

'''

user_agent = r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'
headers = {'User-Agent': user_agent, 'Connection': 'keep-alive'}
req = urllib.request.Request(url,headers=headers)

此三行用来伪装成一个浏览器请求，若urlopen被拒绝访问可以使用此方法，具体调用：

data = urllib.request.urlopen(url).read()替换为data = urllib.request.urlopen(req).read()

'''

data = urllib.request.urlopen(url).read()
#page_data = data.decode('GBK')#根据浏览器不同自行设置编码方式（主要是对中文的处理）
#print(page_data)
#print(type(data))
fp = open('/temp/cookie.txt','wb')#写入文件，注意获得的data是bytes类型的数据，存入文件必须以'wb‘的形式打开
fp.write(data)
fp.close()

#打开文件即可

注意：此处发现一个问题，在写入文件时，如果我存入txt文件则中文编码不受影响，若存入.html文件，中文符号变为乱码。至今不解。希望如果有人知道答案，评论里留言，感激不尽