一、xpath的使用
1 css xpath 通用的
2 XPath 使用路径表达式在 XML 文档中选取节点
3 lxml模块为例,讲xpath选择(selenium,scrapy---》css/xpath)
4 用法:
/
//
@选取属性a[@href="image1.html"]
..
/a[3]
/text()
/@href
/a[contains(@class,"li")]
/a[@class='li']
二、selenium爬取京东商品信息
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
def get_goods(bro):
bro.execute_script('scroll(0,document.body.scrollHeight)')
li_list = bro.find_elements_by_class_name('gl-item')
for li in li_list:
try:
img_url = li.find_element_by_css_selector('.p-img>a>img').get_attribute('src')
if not img_url:
img_url = li.find_element_by_css_selector('.p-img>a>img').get_attribute('data-lazy-img')
img_url = 'https:' + img_url
name = li.find_element_by_css_selector('.p-name em').text
url = li.find_element_by_css_selector('.p-img>a').get_attribute('href')
price = li.find_element_by_css_selector('.p-price i').text
commit = li.find_element_by_css_selector('.p-commit a').text
print('''
商品名称:%s
商品价格:%s
商品链接:%s
图片链接:%s
商品评论数:%s
''' % (name, price, url, img_url, commit))
except Exception as e:
continue
next = bro.find_element_by_partial_link_text('下一页')
next.click()
get_goods(bro)
bro = webdriver.Chrome(executable_path='chromedriver.exe')
try:
bro.get('https://www.jd.com/')
bro.implicitly_wait(10)
search_in = bro.find_element_by_id('key')
search_in.send_keys('男士内衣')
search_in.send_keys(Keys.ENTER)
get_goods(bro)
except Exception as e:
print(e)
finally:
bro.close()
三、scrapy架构介绍和安装
1、scrapy安装
1 爬虫界的django---》好多东西用起来跟django很像
2 pip3 install scrapy(依赖)
-win平台:
1、pip3 install wheel
3、pip3 install lxml
4、pip3 install pyopenssl(装这个装不上:更新pip,搜方案)
5、下载并安装pywin32:https://github.com/mhammond/pywin32/releases
6、下载twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/
7、执行pip3 install 下载目录\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
8、pip3 install scrapy
3 win平台有些模块不好装,可以下载wheel文件安装
-pip3 install wheel
-http://www.lfd.uci.edu/~gohlke/pythonlibs 下载相应的wheel文件
-pip3 install 把下载后的whl拖入即可(注意python,win版本)
4 scrapy总结
-pip3 install scrapy
-scrapy创建项目:scrapy startproject 项目名
-django中创建app:python manage.py startapp app名字
-scrapy创建爬虫:scrapy genspider 爬虫名 爬虫的地址
2、scrapy的架构
1 爬虫:SPIDERS
-刚刚创建的一个个爬虫(py文件,以后主要再这写)
2 引擎EGINE
-大总管,负责各个组件的沟通(写代码不涉及到),
-引擎负责控制系统所有组件之间的数据流,并在某些动作发生时触发事件
3 pipline持久化
-爬完数据解析完,入库(py文件,存数据库,存文件,存redis,在这写)
-在items被提取后负责处理它们,主要包括清理、验证、持久化(比如存到数据库)等操作
4 调度器
-调度谁先被爬取,谁后爬取(通过配置来操作)
-用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
5 下载器
-真正取爬取数据的(写代码也不涉及)
1 爬虫中间件,介于爬虫和引擎之间,可以写多个(一般不写)
2 下载中间件,介于下载器和引擎之间,可以写多个(写的多)
3、目录介绍
myfirstscrapy
myfirstscrapy
spiders
__init__.py
chouti.py
baidu.py
cnblogs.py
settings.py
items.py
middlewares.py
pipelines.py
scrapy.cfg
四、scrapy的简单使用
1 运行爬虫
scrapy scrawl 爬虫名 打印运行日志
scrapy crawl cnblogs --nolog 不打印日志
2 记住的
-解析(def parse(self, response))
-css
-xpath
-解析
'''
xpath
选择文本 /text()
选择属性 /@href
css
选择文本 ::text
选择属性 ::attr(href)
# extract_first取一个
# extract() 取所有(列表形式)
'''
-在解析的函数中yeild Request对象,这个地址又会去发请求
-yield Request(url=url,callback=self.parser_detail)
-不写默认用yield Request(url=url,callback=self.parser)