从零开始系统化的学习写Python爬虫

主要是记录一下自己写Python爬虫的经过与心得。
同时也是为了分享一下如何能更高效率的学习写爬虫。
IDE:Vscode Python版本: 3.6

 

 

 

用Python自动填写问卷星

更多Python课程资料请加python编程语言学习QQ群 515267276”,

即可免费获得精品课程资料哦!

很长时间没有写爬虫相关的文章啦
这次来点干货,妈妈再也不用担心我求同学帮忙填问卷了

缘起

我想被强迫写论文的小伙伴有很多
被强迫用什么问卷调查法的小伙伴也有很多
被问卷折腾的死去活来的小伙伴当然也有很多

求爹爹告奶奶地在各大群请人帮忙填写问卷

一来别人看到这种消息的心情就和看到代购差不多
二来肯定也不会认真填写的啦

不知道你们是不是,
反正每次我填问卷都是看都不看abc
逃~

所以我就想干脆写个小脚本来帮我填问卷好了
于是花了一个多小时搞定了

基本思路

做问卷调查的小伙伴基本上都用过:
 

所以这次我就以这个平台为例子

首先是创建一个测试问卷

 

然后随便点点,点击提交
看看都向服务器发送了什么样的包

 

哇 so easy,居然只是向一个地址发送了:

 

  • 问卷id curlD
  • 发送时间 t
  • 开始答题时间 starttime
  • 不知道什么鬼id rn
  • 题目答案 submitdata

那模拟提交问卷的思路也就很清晰了

  1. 请求页面 就解析出什么鬼id(rn)
  2. 计算其他参数,如t、starttime
  3. 找到所有的问题,并随机做答,构造submitdata
  4. 发送请求

具体代码

更多Python课程资料请加python编程语言学习QQ群 515267276”,

即可免费获得精品课程资料哦!

最主要的就两个部分

找到什么鬼ID rn

def parse_post_url(resp):
    '''
    解析出提交问卷的url
    '''
    # 找到rn
    rn = int(resp.html.search('rndnum="{}"')[0].split('.')[0])
    # 提交问卷的时间
    raw_t = round(time.time(), 3)
    t = int(str(raw_t).replace('.', ''))
    # 模拟开始答题时间
    starttime = datetime.fromtimestamp(
        int(raw_t) - randint(1, 60 * 3)).strftime("%Y/%m/%d %H:%M:%S")

    url = POST_URL_MAP.format(QUESTION_ID, t, starttime, rn)
    return url

找到所有题目

def parse_post_data(resp):
    '''
    解析出问题和选项
    返回post_data
    '''
    post_data = {'submitdata': ""}
    questions = resp.html.find('fieldset', first=True).find('.div_question')

    for i, q in enumerate(questions):
        title = q.find('.div_title_question_all', first=True).text
        choices = [t.text for t in q.find('label')]
        random_index = randint(0, len(choices) - 1)
        choice = choices[random_index]
        post_data['submitdata'] += '{}${}}}'.format(i+1, random_index+1)
        print(QUESTION_INFO.format(title, choices, choice))
        time.sleep(0.5)
    # 去除最后一个不合法的`}`
    post_data['submitdata'] = post_data['submitdata'][:-1]
    return post_data

来看看效果吧

执行时

 

问卷星后台

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值