爬虫
大屁孩。
世界从来不平等,你有多努力,就有多特殊。
展开
-
python爬虫:爬取全国航班信息
目标网站携程:https://flights.ctrip.com/domestic/schedule/思路分析获取到所有的地方航班打开网址,可以看到如下内容:这一步目的是获取到这里显示的所有的航班。得到一个地方航班的所有线路随便打开一个航班,可以看到这个地方航班所有的线路,如下图:这一步目的是获取到这里显示的所有的线路。得到一条线路的所有航班信息打开一条线路,可以看到这条...原创 2019-04-16 17:21:19 · 22451 阅读 · 14 评论 -
python爬取指定歌曲的MV
目标网站音悦Tai:http://www.yinyuetai.com/爬取结果根据指定的歌曲爬取十个相关的mv,存在列表里,十个mv对应十个字典,键为mv名,值为mv的数据。原创 2019-05-06 11:54:40 · 1708 阅读 · 0 评论 -
BeautifulSoup不能正确解析或找不到特定标签的解决方案
近期在使用BeautifulSoup对网页进行解析,想要获取网页的数据,如下代码:soup = BeautifulSoup( resp.text, 'html.parser' )结果发现根据特定的id找不到对应那个标签,还出现找到了标签,但是标签结构破坏的情况,比如下面这个例子:这是网页内容,我要循环每个tr标签,得到th里的文本,关键代码如下:最终输入出的结果为:可以看到前面输...原创 2019-06-18 13:32:13 · 12942 阅读 · 2 评论