农产品信息智能推荐平台(1)

农产品信息智能推荐平台(1)

爬取数据
根据本组的需求，找到了一个网站

因此可以利用爬虫技术将数据爬取到数据库中，以备所需。

代码:
加载selenium的配置

options = webdriver.ChromeOptions()

# 不加载图片,加快访问速度
options.add_experimental_option("prefs",{
   "profile.mamaged_default_content_settings.images":2})

# 此步骤很重要，设置为开发者模式，防止被各大网站识别出来使用了Selenium
options.add_experimental_option('excludeSwitches',['enable-automation'])

chrome_driver = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe'  #chromedriver的文件位置
driver = webdriver.Chrome(executable_path = chrome_driver)

将爬取的100条数据保存到数据库

if __name__ == '__main__':
    url = 'xxxxxx'#首页url
    titlelist=[]
    timelist=[]
    driver.get(url)#请求首页面
    driver.maximize_window()
    driver.implicitly_wait(10)
    n=0