爬虫(二)爬取JD商品信息写入csv文件
所需模块:csv、sys、time、selenium
目标:读取100条商品信息
实现功能:
- 发送请求
- 收集信息
- 自动翻页,直至满足100条信息
- 写入csv文件
代码
```php
```python
import csv
import sys
from selenium import webdriver
import time
class JdSpider(object):
def __init__(self):
#初始url
self.url = 'https://www.jd.com/'
#浏览器对象
self.browser = webdriver.Chrome()
# 计数
self.count = 0
# 输入地址+输入商品+点击按钮
def get_html(self):
self.browser.get(self.url)