requests
__顾影自怜
这个作者很懒,什么都没留下…
展开
-
requests+BeautifulSoup爬取猫眼电影top100
首先测试一下网页是否有用 import requests,json from requests.exceptions import RequestException from bs4 import BeautifulSoup def get_one_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT...原创 2018-07-31 19:47:09 · 2514 阅读 · 1 评论 -
requests爬取今日头条街拍的两种方法
分析网页 今日头条的网页是通过AJAX加载的所以如果单纯的复制网页是无法查看到内容的,只能看到一堆字典形式HTML代码。 这里发现URL的参数共有offset,format,keyword,autoload,count,cur_tab,from,这七种。 往下翻,在Query String Parameters中就能发现这些参数 往下翻,查看新的AJAX,点开NETWORK对比Q...原创 2018-08-05 19:32:04 · 1928 阅读 · 0 评论 -
requests爬取微博
微博地址:蒋方舟微博 用到技术:requests+pyquery 分析页面 通过对比url发现,似乎只需要 改变page就能完成翻页 尝试把page=3放上去得到了如下内容,json序列化 点开调试工具的preview就能看到json反序列化 得来全不费工夫,里面包含了我们需要的所有内容 接着我们需要构造URL,requests中自带一个params()方法...原创 2018-08-01 21:22:10 · 2492 阅读 · 0 评论