python爬虫模块_python的爬虫框架包括哪些模块？

一个成功的东西，他只涵盖一个整体内容吗？肯定不是的，像我们使用的任何物品，都是通过一块一块内容搭建起来的，除了实体物品，还包括我们的语言程序python，作为最经常使用的爬虫功能，大家有没有对框架里包含的模块进行了解呢？难道模块只存在一个吗？肯定不是，那不是的话，存在哪里模块呢？一起来看下吧~

1、Python标准库——urllib模块

功能：打开URL和http协议之类

实例代码：#coding:utf-8

import urllib.request

import time

import platform

#清屏函数(无关紧要 可以不写)

def clear():

print(u"内容过多 3秒后清屏")

time.sleep(3)

OS = platform.system()

if (OS == u'Windows'):

os.system('cls')

else:

os.system('clear')

#访问函数

def linkbaidu():

url = ''

try:

response = urllib.request.urlopen(url,timeout=3)

except urllib.URLError:

print(u'网络地址错误')

exit()

with open('/home/ifeng/PycharmProjects/pachong/study/baidu.txt','w') as fp:

response = urllib.request.urlopen(url,timeout=3)

fp.write(response.read())

print(u'获取url信息，response.geturl()\n:%s'%response.getrul())

print(u'获取返回代码，response.getcode()\n:%s' % response.getcode())

print(u'获取返回信息，response.info()\n:%s' % response.info())

print(u"获取的网页信息经存与baidu.txt")

if __name__ =='main':

linkbaidu()

2、Python标准库–logging模块

logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debug

3、re模块

正则表达式

4、sys模块

系统相关模块

实际应用：

sys.argv(返回一个列表，包含所有的命令行)

sys.exit(退出程序)

5、Scrapy框架

上述给大家讲述了python的主要模块，还给大家顺带着说了大致的使用情况，希望大家可以根据以上描述，对这些模块进行合理的应用哦~