requests
__顾影自怜
这个作者很懒,什么都没留下…
展开
-
requests+BeautifulSoup爬取猫眼电影top100
首先测试一下网页是否有用import requests,jsonfrom requests.exceptions import RequestExceptionfrom bs4 import BeautifulSoupdef get_one_page(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT...原创 2018-07-31 19:47:09 · 2468 阅读 · 1 评论 -
requests爬取今日头条街拍的两种方法
分析网页今日头条的网页是通过AJAX加载的所以如果单纯的复制网页是无法查看到内容的,只能看到一堆字典形式HTML代码。这里发现URL的参数共有offset,format,keyword,autoload,count,cur_tab,from,这七种。往下翻,在Query String Parameters中就能发现这些参数往下翻,查看新的AJAX,点开NETWORK对比Q...原创 2018-08-05 19:32:04 · 1898 阅读 · 0 评论 -
requests爬取微博
微博地址:蒋方舟微博用到技术:requests+pyquery分析页面通过对比url发现,似乎只需要 改变page就能完成翻页 尝试把page=3放上去得到了如下内容,json序列化点开调试工具的preview就能看到json反序列化得来全不费工夫,里面包含了我们需要的所有内容接着我们需要构造URL,requests中自带一个params()方法...原创 2018-08-01 21:22:10 · 2443 阅读 · 0 评论