python3 练手:爬取爱问知识人,运用sqlite3保存数据

python3 练手:爬取爱问知识人

参考地址:https://cuiqingcai.com/1972.html
获取页面:https://iask.sina.com.cn/c/74.html
分析:获取每个问题的标题及答案地址,访问答案页面获取问题具体内容,答案内容,作答者,作答时间,构造成字典形式保存进数据库
主程序:
def main():
  datadict = get_html(url)
  insertdata(iaskdb,datadict)
实现代码:

字典键值惟一,主键相同的,后者会覆盖前者

        for q_detail in q_items:
            #print(q_detail[0],q_detail[1])
            #self.q_url_lists.append(q_url)
            q_dict['qtitle'] = q_detail[0]
            q_dict['qurl'] = q_detail[1]
            q_index += 1
            countnum += 1
            self.q_dictlist.append(q_dict)

运行以上代码会产生相同的值导致数据库不全

修改后代码:

cl
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值