前几日知识总结

最新推荐文章于 2022-11-02 19:13:58 发布

Sfiaflys

最新推荐文章于 2022-11-02 19:13:58 发布

阅读量189

点赞数 1

分类专栏： python爬虫基础文章标签： python

本文链接：https://blog.csdn.net/sfiaflys/article/details/107450955

版权

python爬虫基础专栏收录该内容

8 篇文章 1 订阅

订阅专栏

如何选取爬取路线

在这里插入图片描述

实例1 爬取知乎大v张佳玮的文章“标题”、“摘要”、“链接”，并存储到本地文件（失败）

import requests,openpyxl
from bs4 import BeautifulSoup
url='https://www.zhihu.com/people/zhang-jia-wei/posts/posts_by_votes?page='
n=5
sv={'user-agent':'Moziller/5.0'}
list_excel=[]
wb=openpyxl.Workbook()
sheet=wb.active
sheet['A1']='文章名';sheet['B1']='摘要';sheet['C1']='链接'
for i in range(n):
    r=requests.get(url+str(i+1),headers=sv)
    r.encoding=r.apparent_encoding
    html=r.text
    soup=BeautifulSoup(html,'html.parser')
    ls=soup.find('div',class_='List').find_all('div',class_='List-item')
    for item in ls:
        name_article=item.find('h2',class_='ContentItem-title')
        zhaiyao=item.find('span',class_='RichText ztext CopyrightRichText-richText')
        link=item.find('h2',class_='ContentItem-title').find('a')['href']
        sheet.append([name_article.text,zhaiyao.text,link])
wb.save('张佳伟.xlsx')

在这里插入图片描述
爬取了5页内容，却只找到了10篇文章，返回头查找问题

现在elements中查找，确实包含这几篇文章。
然后到network中查找，发现posts?page=1里只有两篇文章

那么用之前的办法去查找文章

import requests
import openpyxl
import random
url = 'https://www.zhihu.com/api/v4/members/zhang-jia-wei/articles'
n = 2
my_headers = [
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
    "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)",
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
    'Opera/9.25 (Windows NT 5.1; U; en)',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
    'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
    'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
    "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
    "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 "
]
proxys={
    'http':'60.179.201.207:3000',
    'https':'60.179.200.202:3000'
}

sv = {'user-agent':random.choice(my_headers) }
ls = []
wb = openpyxl.Workbook()
sheet = wb.active
sheet.title = '张佳玮'
sheet['A1'] = '文章名'
sheet['B1'] = '摘要'
sheet['C1'] = '链接'
for i in range(n):
    params = {
        'include': 'data[*].comment_count,suggest_edit,is_\
        normal,thumbnail_extra_info,thumbnail,can_comment,\
        comment_permission,admin_closed_comment,content,v\
        oteup_count,created,updated,upvoted_followees,voting\
        ,review_info,is_labeled,label_info;data[*].author.badge[?(type=best_answerer)].topics',
        'offset': str(10+i*20),
        'limit': '10',
        'sort_by': 'voteups'
    }
    
    r = requests.get(url, params=params, headers=sv)
    r.encoding = r.apparent_encoding
    dic_json = r.json()
    print(dic_json)
    print(r.status_code)
    ls11=dic_json['data']   
    for all_ in ls11:
        title = all_['title']
        a_url = all_['url']
        zhaiyao = all_['excerpt']
        sheet.append([title, zhaiyao, a_url])
wb.save('ZJJ.xlsx')

运行结果：
在这里插入图片描述
失败了，等我慢慢找原因

实例2 复制扇贝网测单词量功能，并且自动生成错题本

任务需求：扇贝网：https://www.shanbay.com/已经有一个测单词量的功能，我们要做的就是把这个功能复制下来，并且做点改良，搞一个网页版没有的功能 ———— 自动生成错词本。

import requests
import random

sv = {'user-agent': 'Moziller/5.0'}


def main():
    a = choice()
    words_list = getList(a)
    errorbook = getErrorBook(words_list)
    print(errorbook)


def choice():
    a = input('请输入想测的题库\nGMAT:GMAT\n考研;NGEE\n高考：NECC\n请输入：')
    return a


def getList(a):
    params = {
        'category': a,
        '_': '1595168561955'
    }
    r = requests.get(
        'https://www.shanbay.com/api/v1/vocabtest/vocabularies/', headers=sv, params=params)
    words_json = r.json()
    words_list = words_json['data']
    return words_list


def getErrorBook(ls1):
    errobook = []
    for words in ls1:
        word = words['content']
        print(word)
        errobook = errorBook(word,errobook)
    return errobook


def errorBook(word,errobook):
    a = input('如果会请输入1，不会请输入0：')
    if a == '0':
        errobook.append(word)
    return errobook


main()

运行结果：
在这里插入图片描述

这个是功能简化版，答案是完整版，po上来供参考

import requests

link = requests.get('https://www.shanbay.com/api/v1/vocabtest/category/')
#先用requests下载链接。
js_link = link.json()
#解析下载得到的内容。
bianhao = int(input('''请输入你选择的词库编号，按Enter确认
1，GMAT  2，考研  3，高考  4，四级  5，六级
6，英专  7，托福  8，GRE  9，雅思  10，任意
>'''))
#让用户选择自己想测的词库，输入数字编号。int()来转换数据类型
ciku = js_link['data'][bianhao-1][0]
#利用用户输入的数字编号，获取题库的代码。如果以输入“高考”的编号“3”为例，那么ciku的值就是，在字典js_link中查找data的值，data是一个list，查找它的第bianhao-1，也就是第2个元素，得到的依然是一个list，再查找该list的第0个元素。最后得到的就是我们想要的NCEE。
test = requests.get('https://www.shanbay.com/api/v1/vocabtest/vocabularies/?category='+ciku)
#下载用于测试的50个单词。
words = test.json()
#对test进行解析。
danci = []
#新增一个list，用于统计用户认识的单词
words_knows = []
#创建一个空的列表，用于记录用户认识的单词。
not_knows = []
#创建一个空的列表，用于记录用户不认识的单词。
print ('测试现在开始。如果你认识这个单词，请输入Y，否则直接敲Enter：')
n=0
for x in words['data']:
#启动一个循环，循环的次数等于单词的数量。
    n=n+1
    print ("\n第"+str(n)+'个：'+x['content'])
    #加一个\n，用于换行。
    answer = input('认识请敲Y，否则敲Enter：')
    #让用户输入自己是否认识。
    if answer == 'Y':
    #如果用户认识：
        danci.append(x['content'])
        words_knows.append(x)
        #就把这个单词，追加进列表words_knows。
    else:
    #否则
        not_knows.append(x)
        #就把这个单词，追加进列表not_knows。


print ('\n在上述'+str(len(words['data']))+'个单词当中，有'+str(len(danci))+'个是你觉得自己认识的，它们是：')
print(danci)


print ('现在我们来检测一下，你有没有真正掌握它们：')
wrong_words = []
right_num = 0
for y in words_knows:
    print('\n\n'+'A:'+y['definition_choices'][0]['definition'])
    #我们改用A、B、C、D，不再用rank值，下同
    print('B:'+y['definition_choices'][1]['definition'])
    print('C:'+y['definition_choices'][2]['definition'])
    print('D:'+y['definition_choices'][3]['definition'])
    xuanze = input('请选择单词\"'+y['content']+'\"的正确翻译（填写数字即可）：')
    dic = {'A':y['definition_choices'][0]['rank'],'B':y['definition_choices'][1]['rank'],'C':y['definition_choices'][2]['rank'],'D':y['definition_choices'][3]['rank']} 
    #我们创建一个字典，搭建起A、B、C、D和四个rank值的映射关系。
    if dic[xuanze] == y['rank']:
    #此时dic[xuanze]的内容，其实就是rank值，此时的代码含义已经和之前的版本相同了。
        right_num += 1
    else:
        wrong_words.append(y)

print ('现在，到了公布成绩的时刻:')
print ('在'+str(len(words['data']))+'个'+js_link['data'][bianhao-1][1]+'词汇当中，你认识其中'+str(len(danci))+'个，实际掌握'+str(right_num)+'个，错误'+str(len(wrong_words))+'个。')
#这是句蛮复杂的话，对照前面的代码和json文件你才能理解它。一个运行示例是：在50个高考词汇当中，你认识其中30个，实际掌握25个，错误5个。

save = input ('是否打印并保存你的错词集？填入Y或N： ')
#询问用户，是否要打印并保存错题集。
if save == 'Y':
#如果用户说是：
    f = open('错题集.txt', 'a+')
    #在当前目录下，创建一个错题集.txt的文档。        
    print ('你记错的单词有：')
    f.write('你记错的单词有：\n')
    #写入"你记错的单词有：\n"
    m=0
    for z in wrong_words:
    #启动一个循环，循环的次数等于，用户的错词数：
        m=m+1
        print (z['content'])
        #打印每一个错词。
        f.write(str(m+1) +'. '+ z['content']+'\n')
        #写入序号，写入错词。           
    print ('你不认识的单词有：')
    f.write('你没记住的单词有：\n')
    #写入"你没记住的单词有：\n"
    s=0
    for x in not_knows:
    #启动一个循环，循环的次数等于，用户不认识的单词数。
        print (x['content'])
        #打印每一个不认识的单词。
        f.write(str(s+1) +'. '+ x['content']+'\n')
        #写入序号，写入用户不认识的词汇。 
    print ('错词和没记住的词已保存至当前文件目录下，下次见！')
    #告诉用户，文件已经保存好。
    #在网页版终端运行时，文件会被写在课程的服务器上，你看不到，但它的确已经存在。
else:
#如果用户不想保存：
    print('下次见！')
    #输出“下次见！”