- 博客(2)
- 收藏
- 关注
RSS订阅原创 python爬虫爬取搜狗微信文章(代理池+re从跳转链接中找到真实URL问题)
作者最近在学习python爬虫，在爬取微信文章这个实战项目中遇到了一些小问题，所以写这篇文章来记录一下，顺便分享一下爬取过程。 整体思路 我们选择从搜狗的微信界面（‘https://weixin.sogou.com/’）来获取微信文章的基本信息，由于搜狗有反爬措施，采用代理池，先将搜狗搜索的结果页的源码爬取，之后解析出这一页的文章链接，翻页，继续解析至最后一页，最后访问文章链接获取源码提取所需信息保存到MongoDB中 准备工作 代理池ProxyPool：代理池的作用是用来应对sougo的反爬虫措.
2020-07-19 16:25:21
3343
4
原创 2020美团春招数据运营岗笔试心得
2020美团春招数据运营岗笔试心得写在前面笔试前笔试心得个人建议写在最后 写在前面 刚刚考完，趁着热乎分享一下自己的笔试心得。 这次笔试是我求职生涯中的第一次笔试可以说，5.10号投递简历，5.11发来笔试邀请，5.12上午10点考试。而我5.11晚上才看到笔试邀请，只准备了一个晚上，因为刚刚开始求职，没有参加过笔试的我也不知道该怎么复习，简单的复习了一下sql、Excel，还找了一些往年的题，刷了一些数字、逻辑的题。 笔试前 笔试前一小时我登入考试界面，发现**有提供的练习题**..不过有近大半是用来熟
2020-05-12 11:53:31
1865
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人