学习python爬虫时看了网易云课堂上一位老师的简单而又深邃讲解,在此写下我的学习总结:
一 、由于代码上我加了跟详细的注解,所以就不做过多的解释了。具体代码如下:
#coding:utf-8
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import requests
import csv
URL = 'http://cc.ganji.com/fang1/'
ADDR = 'http://cc.ganji.com/' # 赶集网的域名,用来拼接补全域名
if __name__ == '__main__':
start_page = 1 # 开始爬取的页面
end_page = 10 # 结束页面
price =