1.从新闻url获取新闻详情: 字典,anews
2.从列表页的url获取新闻url:列表append(字典) alist
3.生成所页列表页的url并获取全部新闻 :列表extend(列表) allnews
*每个同学爬学号尾数开始的10个列表页
4.设置合理的爬取间隔
import time
import random
time.sleep(random.random()*3)
5.用pandas做简单的数据处理并保存
保存到csv或excel文件
newsdf.to_csv(r‘F:duym爬虫gzccnews.csv‘)
保存到数据库
import sqlite3with sqlite3.connect(‘gzccnewsdb.sqlite‘) as db: newsdf.to_sql(‘gzccnewsdb‘,db)
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import re
import sqlite3
import pandas as pd
import time
import pandas
import random
def click(url):
id=re.findall(‘d[1,5]‘,url)[-1]
clickUrl=‘http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80‘.format(id)
resClick=requests.get(clickUrl)<