爬虫
weixin_39214481
这个作者很懒,什么都没留下…
展开
-
java爬虫抓取天猫商品的价格数据
天猫商品的价格是ajax动态加载的,用F12分析页面的请求路径找到价格请求的url,分析如图直接访问这个url是会报错的,如图需要在代码中访问,在head中加上Refererc参数,自己写了一个demo,获取到的商品的价格,(仅供测试)public static void main(String[] args) throws Exception { St...转载 2019-02-27 20:14:24 · 2405 阅读 · 0 评论 -
python 实现抓取孔夫子旧书网图书图片
import requestsfrom bs4 import BeautifulSoupfrom fake_useragent import UserAgentimport json#孔夫子旧书网图书信息抓取def getImg(isbn): ua = UserAgent() headers = {'User-Agent':ua.random} url = 'ht...转载 2019-02-28 16:13:32 · 793 阅读 · 0 评论