python爬虫学习心得记录第一节——爬取网页url和对应的title并存入excel表格
使用pip install 分别安装以下模块
import requests
import cchardet
import bs4
import openpyxl
爬取网页源码
定义一个函数,需要传入要爬取的url进来,这里我没有设置异常处理 是不严谨的
def downloader(url,binary=False):
_headers={
#"Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/53
原创
2021-03-30 15:27:05 ·
674 阅读 ·
0 评论