如何选取爬取路线
实例1 爬取知乎大v张佳玮的文章“标题”、“摘要”、“链接”，并存储到本地文件（失败）
import requests,openpyxl
from bs4 import BeautifulSoup
url='https://www.zhihu.com/people/zhang-jia-wei/posts/posts_by_votes?page='
n=5
sv={'user-agent':'Moziller/5.0'}
list_excel=[]
wb=openpyxl.Workbook()
sheet=wb.active
sheet['A1']='文章名';sheet['B1']='摘要';sheet['C1']='链接'
for i in range(n):
r=requests.get(url+str(i+1),headers=sv)
r.encoding=r.apparent_encoding
html=r.text
soup=BeautifulSoup(html,'html.parser')
ls=soup.find('div',class_='List').find_all('div',class_='List-item')
for item in ls:
name_article=item.find('h2',class_='ContentItem-title')
zhaiyao=item.find('span',class_='RichText ztext CopyrightRichText-richText')
link=item.find('h2',class_='ContentItem-title').find('a')['href']
sheet.append([name_article.text,zhaiyao.text,link])
wb.save('张佳伟.xlsx')
爬取了5页内容，却只找到了10篇文章，返回头查找问题
现在elements中查找，确实包含这几篇文章。
然后到network中查找，发现posts?page=1里只有两篇文章
那么用之前的办法去查找文章
import requests
import openpyxl
import random
url = 'https://www.zhihu.com/api/v4/members/zhang-jia-wei/articles'
n = 2
my_headers = [
"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)",
'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
'Opera/9.25 (Windows NT 5.1; U; en)',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
"Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
"Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 "
]
proxys={
'http':'60.179.201.207:3000',
'https':'60.179.200.202:3000'
}
sv = {'user-agent':random.choice(my_headers) }
ls = []
wb = openpyxl.Workbook()
sheet = wb.active
sheet.title = '张佳玮'
sheet['A1'] = '文章名'
sheet['B1'] = '摘要'
sheet['C1'] = '链接'
for i in range(n):
params = {
'include': 'data[*].comment_count,suggest_edit,is_\
normal,thumbnail_extra_info,thumbnail,can_comment,\
comment_permission,admin_closed_comment,content,v\
oteup_count,created,updated,upvoted_followees,voting\
,review_info,is_labeled,label_info;data[*].author.badge[?(type=best_answerer)].topics',
'offset': str(10+i*20),
'limit': '10',
'sort_by': 'voteups'
}
r = requests.get(url, params=params, headers=sv)
r.encoding = r.apparent_encoding
dic_json = r.json()
print(dic_json)
print(r.status_code)
ls11=dic_json['data']
for all_ in ls11:
title = all_['title']
a_url = all_['url']
zhaiyao = all_['excerpt']
sheet.append([title, zhaiyao, a_url])
wb.save('ZJJ.xlsx')
运行结果：
失败了，等我慢慢找原因
实例2 复制扇贝网测单词量功能，并且自动生成错题本
任务需求：扇贝网：https://www.shanbay.com/已经有一个测单词量的功能，我们要做的就是把这个功能复制下来，并且做点改良，搞一个网页版没有的功能 ———— 自动生成错词本。
import requests
import random
sv = {'user-agent': 'Moziller/5.0'}
def main():
a = choice()
words_list = getList(a)
errorbook = getErrorBook(words_list)
print(errorbook)
def choice():
a = input('请输入想测的题库\nGMAT:GMAT\n考研;NGEE\n高考：NECC\n请输入：')
return a
def getList(a):
params = {
'category': a,
'_': '1595168561955'
}
r = requests.get(
'https://www.shanbay.com/api/v1/vocabtest/vocabularies/', headers=sv, params=params)
words_json = r.json()
words_list = words_json['data']
return words_list
def getErrorBook(ls1):
errobook = []
for words in ls1:
word = words['content']
print(word)
errobook = errorBook(word,errobook)
return errobook
def errorBook(word,errobook):
a = input('如果会请输入1，不会请输入0：')
if a == '0':
errobook.append(word)
return errobook
main()
运行结果：
这个是功能简化版，答案是完整版，po上来供参考
import requests
link = requests.get('https://www.shanbay.com/api/v1/vocabtest/category/')
#先用requests下载链接。
js_link = link.json()
#解析下载得到的内容。
bianhao = int(input('''请输入你选择的词库编号，按Enter确认
1，GMAT 2，考研 3，高考 4，四级 5，六级
6，英专 7，托福 8，GRE 9，雅思 10，任意
>'''))
#让用户选择自己想测的词库，输入数字编号。int()来转换数据类型
ciku = js_link['data'][bianhao-1][0]
#利用用户输入的数字编号，获取题库的代码。如果以输入“高考”的编号“3”为例，那么ciku的值就是，在字典js_link中查找data的值，data是一个list，查找它的第bianhao-1，也就是第2个元素，得到的依然是一个list，再查找该list的第0个元素。最后得到的就是我们想要的NCEE。
test = requests.get('https://www.shanbay.com/api/v1/vocabtest/vocabularies/?category='+ciku)
#下载用于测试的50个单词。
words = test.json()
#对test进行解析。
danci = []
#新增一个list，用于统计用户认识的单词
words_knows = []
#创建一个空的列表，用于记录用户认识的单词。
not_knows = []
#创建一个空的列表，用于记录用户不认识的单词。
print ('测试现在开始。如果你认识这个单词，请输入Y，否则直接敲Enter：')
n=0
for x in words['data']:
#启动一个循环，循环的次数等于单词的数量。
n=n+1
print ("\n第"+str(n)+'个：'+x['content'])
#加一个\n，用于换行。
answer = input('认识请敲Y，否则敲Enter：')
#让用户输入自己是否认识。
if answer == 'Y':
#如果用户认识：
danci.append(x['content'])
words_knows.append(x)
#就把这个单词，追加进列表words_knows。
else:
#否则
not_knows.append(x)
#就把这个单词，追加进列表not_knows。
print ('\n在上述'+str(len(words['data']))+'个单词当中，有'+str(len(danci))+'个是你觉得自己认识的，它们是：')
print(danci)
print ('现在我们来检测一下，你有没有真正掌握它们：')
wrong_words = []
right_num = 0
for y in words_knows:
print('\n\n'+'A:'+y['definition_choices'][0]['definition'])
#我们改用A、B、C、D，不再用rank值，下同
print('B:'+y['definition_choices'][1]['definition'])
print('C:'+y['definition_choices'][2]['definition'])
print('D:'+y['definition_choices'][3]['definition'])
xuanze = input('请选择单词\"'+y['content']+'\"的正确翻译（填写数字即可）：')
dic = {'A':y['definition_choices'][0]['rank'],'B':y['definition_choices'][1]['rank'],'C':y['definition_choices'][2]['rank'],'D':y['definition_choices'][3]['rank']}
#我们创建一个字典，搭建起A、B、C、D和四个rank值的映射关系。
if dic[xuanze] == y['rank']:
#此时dic[xuanze]的内容，其实就是rank值，此时的代码含义已经和之前的版本相同了。
right_num += 1
else:
wrong_words.append(y)
print ('现在，到了公布成绩的时刻:')
print ('在'+str(len(words['data']))+'个'+js_link['data'][bianhao-1][1]+'词汇当中，你认识其中'+str(len(danci))+'个，实际掌握'+str(right_num)+'个，错误'+str(len(wrong_words))+'个。')
#这是句蛮复杂的话，对照前面的代码和json文件你才能理解它。一个运行示例是：在50个高考词汇当中，你认识其中30个，实际掌握25个，错误5个。
save = input ('是否打印并保存你的错词集？填入Y或N： ')
#询问用户，是否要打印并保存错题集。
if save == 'Y':
#如果用户说是：
f = open('错题集.txt', 'a+')
#在当前目录下，创建一个错题集.txt的文档。
print ('你记错的单词有：')
f.write('你记错的单词有：\n')
#写入"你记错的单词有：\n"
m=0
for z in wrong_words:
#启动一个循环，循环的次数等于，用户的错词数：
m=m+1
print (z['content'])
#打印每一个错词。
f.write(str(m+1) +'. '+ z['content']+'\n')
#写入序号，写入错词。
print ('你不认识的单词有：')
f.write('你没记住的单词有：\n')
#写入"你没记住的单词有：\n"
s=0
for x in not_knows:
#启动一个循环，循环的次数等于，用户不认识的单词数。
print (x['content'])
#打印每一个不认识的单词。
f.write(str(s+1) +'. '+ x['content']+'\n')
#写入序号，写入用户不认识的词汇。
print ('错词和没记住的词已保存至当前文件目录下，下次见！')
#告诉用户，文件已经保存好。
#在网页版终端运行时，文件会被写在课程的服务器上，你看不到，但它的确已经存在。
else:
#如果用户不想保存：
print('下次见！')
#输出“下次见！”
7万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
