Python爬虫
JaysonWong
在代码边缘游走的医学生
展开
-
python用Selenium爬取携程网机票信息
一、问题说明1、selenium库是爬虫过程中比较讨巧的一个第三方库,它能够跳过js、ajax等交互,上手比较容易。2、基础代码是根据其他博主参考而来,但携程网站不断变化,除ID等不变的信息外,其余都已发生变化,因此,仔细对比之后,改进并编写了以下代码,发布于2021年10月19日。3、如果出现报错,请尝试修改下面代码中 time.sleep()函数参数。4、要爬取自己想要的数据,只需修改出发地和到达地以及出发时间,另外注意修改浏览器驱动,本人用的是MicroSoft Edge,驱动到对应的网站下载原创 2021-10-18 17:15:51 · 3094 阅读 · 0 评论 -
python爬取去哪儿网酒店信息
python爬取去哪儿网酒店信息利用selenium+python爬取去哪儿网酒店信息,获取酒店名称、酒店地址、第一条评论、评论数、最低价格等信息,写入excel表。1、观察网页结构浏览器地址栏输入https://hotel.qunar.com/city/xiamen/#fromDate=2020-01-01&cityurl=xiamen&toDate=2020-01-02&...原创 2020-01-15 17:00:54 · 6102 阅读 · 3 评论 -
python爬虫 AttributeError: 'NoneType' object has no attribute 'children' 错误
1.对AttributeError: ‘NoneType’ object has no attribute 'children’的解决办法很多人出现这个问题很有可能都是看完中国大学生慕课python爬虫教程视频后练习代码出现的,这里指出一下,老师的代码是没有问题的,出现这个问题你需要在getHTMLText(url)和fillUnivList(ulist,html)这两个函数模块仔细检查代码是否...原创 2019-10-11 15:25:02 · 978 阅读 · 2 评论