python爬取携程网机票信息

qq_41387775

于 2019-09-13 02:35:24 发布

阅读量1.7k

点赞数 1

文章标签：爬虫携程

本文链接：https://blog.csdn.net/qq_41387775/article/details/100790605

版权

本文介绍了作者通过Python的Selenium库爬取携程网机票价格的过程，尽管作者对爬虫技术理解不深，但经过研究成功实现了数据抓取。代码中包含了使用MongoDB存储数据的部分，并对关键代码部分进行了保留，以避免可能侵犯网站权益。文章还讨论了发布此类代码的法律问题，并提供了一个简化版的代码结构作为学习参考。

摘要由CSDN通过智能技术生成

以下是原创代码哦，虽然并没有详细了解过爬虫，不过还是在不懈的努力（上网，翻书等）下搞定了携程网机票的爬取，回顾历程，往日的心酸真的历历在目,说真的，现在也不懂一些语法到底是怎么个应用法则，但是，这是一条呕心沥血改编来的代码，具体参考由于年代久远，而且居无定所，不得考证，甚是遗憾了。最后，公布代码会犯法吗，这样会侵犯携程网站的利益吗，为了安全，我还是保留一点吧，不过可以给应对某sir课程的小伙伴一个参考。

import pymongo
import time

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from pyquery import PyQuery as pq

from urllib.parse import quote

MONGO_URL = ‘localhost’
MONGO_DB = ‘taobao’
MONGO_COLLECTION = ‘products’

SERVICE_ARGS = [’–load-images=false’, ‘–disk-cache=true’]

browser = webdriver.Firefox()

wait = WebDriver