爬虫
文章平均质量分 87
data_dog
创业是不可能创业了,考公又难,只能学一手数据分析打打工了,数据工程师超厉害的,说话又好听,人又实在,我超喜欢的。
展开
-
抓取猫眼电影并保存到mysql和mongdb
导库import reimport requestsfrom bs4 import BeautifulSoup之前预抓取无法返回html,发现是需要headersheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239....原创 2018-04-18 16:46:48 · 1022 阅读 · 0 评论 -
模拟浏览器抓取淘宝书籍数据
淘宝的html是动态加载的,直接用requests请求并不能找到想要的数据,这里用selenium库模拟浏览器登录并操作导库from selenium import webdriver淘宝的urlurl ='https://www.taobao.com/'browser = webdriver.Chrome()browser.get(url)用css选择器获取淘宝搜索框并输入“书籍”(也可以输入...原创 2018-04-18 20:55:05 · 631 阅读 · 0 评论