盖德化工网采集1

Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门

https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6EmUbbW&id=564564604865

网址构架 首页+地区+p页数

 http://china.guidechem.com/suppliers/list_catid-21_area-%E6%B1%9F%E8%8B%8F-p2.html

 

 

 

# -*- coding: utf-8 -*-
"""
Created on Sun May  8 09:33:09 2016

browser.find_element_by_class_name("clist_list_content_r")  只是抓取第一个element
browser.find_elements_by_class_name("clist_list_content_r")  抓取所有elements
@author: daxiong
"""
import requests,bs4,csv,time,selenium,random
from selenium import webdriver

charset="utf-8"
site="http://china.guidechem.com/suppliers/list_catid-21.html"
site_jiangsu="http://china.guidechem.com/suppliers/list_catid-21_area-%E6%B1%9F%E8%8B%8F.html"
#site3="https://www.baidu.com/"
browser=webdriver.Firefox()
#browser.get(site3)
browser.get(site_jiangsu)
elems=browser.find_elements_by_class_name("clist_list_content_r")


'''
elems[0].text
Out[13]: '张家港市思普生化有限公司 已实名备案\n主要产品：L-赖氨酸 L-蛋氨酸 L-脯氨酸 L-天冬酰胺 L-色氨酸 73-22-3\n电话：86-512-58992291\n地址：江苏省苏州市张家港经济技术开发区'

elems[1].text
Out[14]: '常州亿源生物科技有限公司 已实名备案\n主要产品：3-氟-4-甲氧基苯甲酸 2,4,6-三甲基苯乙酸 5-溴-3-氯吲唑 4-氨基-3-氟苯甲酸 2,4,6-三氟苯乙酸\n电话：86-0519-82551605\n地址：常州市金坛金东工业园'


'''

　　

转载于:https://www.cnblogs.com/webRobot/p/5470101.html