python爬虫
文章平均质量分 92
Kobe_WEZ
这个作者很懒,什么都没留下…
展开
-
Python爬虫——爬取阳光高考网高校信息
在本次学习中主要爬取的内容如下就简单粗暴直接献上代码吧import requestsimport timeimport jsonfrom bs4 import BeautifulSoupdef get_one_page(): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X ...原创 2019-03-07 09:32:00 · 4299 阅读 · 0 评论 -
爬虫学习笔记——Selenium爬取淘宝商品信息并保存
在使用selenium来模拟浏览器操作,抓取淘宝商品信息前,先完成一些准备工作。准备工作:需要安装selenium,pyquery,以及Chrome浏览器并配置ChromeDriver。安装selenium:pip install selenium安装pyquery:pip install pyqueryChromeDriver配置:参考Window 下配置ChromeDriver做好这...原创 2019-04-18 00:03:16 · 1130 阅读 · 0 评论 -
BeautifulSoup爬取虎扑步行街信息到Mysql
人生苦短,我用python今天给大家爬取虎扑步行街的详细信息效果图如下:首先根据虎扑步行街链接获取前十个页面链接for i in range(1, 10): link = "https://bbs.hupu.com/bxj-" + str(i)接着根据链接获取到页面htmlheaders = {'User-Agent' : 'Mozilla/5.0 (Windows; ...原创 2019-06-21 00:01:26 · 381 阅读 · 1 评论