爬虫
山风风风闻闻啊
这个作者很懒,什么都没留下…
展开
-
简易爬取豆瓣TOP250数据并存储(mysql)
简易爬取豆瓣TOP250数据并存储最开始接触的实例就是豆瓣top250的爬取,现在想起来,给他细化一下预置数据库为了方便后续处理,建立了一个“爬虫”数据库,在其中建立了一个“doubantop250”表表结构如下:重点在数据爬取这里,所以没有特别去强调主键外键什么的对应数据内容依次为序号、电影名称、别名、评分、一句话简介、评价人数、导演数据爬取(xpath、requests)...原创 2020-03-10 15:10:17 · 598 阅读 · 2 评论 -
通过黑板课爬虫游戏复习爬虫知识(第二关)
通过黑板课爬虫游戏复习爬虫知识(第二关)第二关地址:http://www.heibanke.com/lesson/crawler_ex01/不难发现,其实他们关卡的url也是有规律的……第二关相较于第一关,主要是在考察表单的提交很尴尬的是 我测试的时候第一个数字就成功了……所以代码采用的是‘!=’恭喜’’的状态我的思路就是提交表单后读取文本,进行判断,一旦不符合条件,就继续执行,直到...原创 2020-02-27 22:58:35 · 118 阅读 · 0 评论 -
通过黑板课爬虫游戏复习爬虫知识(第一关)
通过爬虫游戏复习爬虫知识(第一关)打算复习一下爬虫基础为了防止太枯燥,就选择了黑板课的爬虫游戏本文含3.5以上etree模块无法运行的解决思路第一关地址:http://www.heibanke.com/lesson/crawler_ex00/点进去看的话,第一关就是让你按照他给出的提示输进去数字次数多了以后会提醒你用爬虫的方法思路很简单,查看源代码之后,利用request和lxml转...原创 2020-02-27 22:04:24 · 172 阅读 · 0 评论