python 爬虫代码_python之路(一)_爬虫—爬一下网页代码输出到文件

在上次公众号中讲到要用python进行开发，所以又拾起来了python。这不，从爬虫进行入门熟悉一下。爬虫是个啥呢？简单说：就是你想高效地从网上获取一些信息，而不用鼠标点点点。官方解释： 网络爬虫(又称为网页蜘蛛，网络机器人，在FOAF 社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序 或者脚本 。(来自百度百科)。URL这个东西就不过多介绍了，如果你开始学习爬虫，还不知道URL，那感觉有点急火攻心了。直接进入正题上代码(基于python3.6)，简单爬取一下百度贴吧某个帖子的内容第一步：根据url获取源代码

import urllibfrom urllib import requestdef load_page(url):    req = urllib.request.Request(url)    res = urllib.request.urlopen(req)    html = res.read().decode('utf-8')    return html

第二步：把获取到的源代码输出到文件

def write_file(file_name, text):    f = open(file_name, 'w+', encoding='UTF-8')    f.write(text)    f.close()

第三步：根据指定页数进行爬取

if __name__ == '__main__':    baseurl = 'https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn='    begin_page = int(input('please input start page:'))    end_page = int(input('please input end page:'))    for i in range(begin_page, end_page):        pn = 50 * (i - 1)        html = load_page(baseurl + str(pn))        file_name = str(i) + '.html'        write_file(file_name, html)

执行测试，输出结果