python爬取知乎问题_【Python爬虫】爬取知乎推荐问题(含模拟登陆)

from requests_html import HTMLSession

import os

import re

import time

os.chdir('D:')

session = HTMLSession()

url = 'https://www.zhihu.com/'

headers = {'Cookie':'_zap=4c829b4e-1201-4958-99a1-ac2485840836; _xsrf=MVHGE1y0EiN4nqXSweahVA99FlA2SGb7; _ga=GA1.2.1879096272.1589471871; _gid=GA1.2.692919116.1589471871; d_c0="ANBXIqsNRRGPTnM4UXPDwc6VkokSpS_DEqo=|1589471870"; capsion_ticket="2|1:0|10:1589471879|14:capsion_ticket|44:MTFmNzVhMjkwYjZlNDM5NWE2ZTg5YjcxNjNiNDU5Y2E=|2999295c0b1de615a7608a50cfa9fc7f9aba92a2db7ede1947c7012273a15959"; z_c0="2|1:0|10:1589471906|4:z_c0|92:Mi4xQ2t1SUN3QUFBQUFBMEZjaXF3MUZFU1lBQUFCZ0FsVk5vcmlxWHdCa3poU2cxQlJKLUxGOVhJYW1kTUlYQUUwc1Jn|26e2693d08d4f9c2ebc7a30010a02a67e6bc2e5d3842790f49498fbe3a363d10"; tst=r; _gat_gtag_UA_149949619_1=1; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1589471870,1589506422,1589541721; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1589541721; SESSIONID=CUtvDeLbggH9P5nr8xYYLkacAjedvTNLJRBTCpBM3eX; JOID=VVscBUnj64FtYV4HQuLa0eJLR0BdpLT6HyA_QS-BiMNbNW5tOreVNDJgUAJJlrR47riVCtzUaFkiqdvaD6BW7ug=; osd=U1gcCk_l6IFiZ1gEQu3c1-FLSEZbp7T1GSY8QSCHjsBbOmhrObeaMjRjUA1PkLd44b6TCdzbbl8hqdTcCaNW4e4=; KLBRSID=975d56862ba86eb589d21e89c8d1e74e|1589541725|1589541719'}

while True:

time.sleep(10)

try:

r = session.get(url,headers = headers)

html = r.text

questions = re.findall('content="[^abcdefghijklmnopqrstuvwxyz1234567890]*"',html)

for question in questions:

if question != 'content=""' and question != 'content="有问题,上知乎。知乎,可信赖的问答社区,以让每个人高效获得可信赖的解答为使命。知乎凭借认真、专业和友善的社区氛围,结构化、易获得的优质内容,基于问答的内容生产方式和独特的社区机制,吸引、聚集了各行各业中大量的亲历者、内行人、领域专家、领域爱好者,将高质量的内容透过人的节点来成规模地生产和分享。用户通过问答等交流方式建立信任和连接,打造和提升个人影响力,并发现、获得新机会。"':

question = re.sub('content=','',question)

print(question)

open('zhihu.txt','a').write(question + '\n')

except:

print('jump')

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值