Day19 selemium

Day19 selemium

1.导入 selemium

• 1.创建浏览器对象
• 2.打开网页（需要爬哪个页面的数据，就打开哪个网页对应的网页地址）
• 3.获取网页源代码（注意：不管以什么样的方式更新了界面内容，page——source的内容也会跟着更新）

• from selenium.webdriver import Chrome
  # 1.创建浏览器对象
  b = Chrome()
  # 2.打开网页（需要爬哪个页面的数据，就打开哪个网页对应的网页地址）
  b.get('https://movie.douban.com/top250?start=0&filter=')
  # 3.获取网页源代码（注意：不管以什么样的方式更新了界面内容，page——source的内容也会跟着更新）
  print(b.page_source)
  

2.selenium获取多页数据的翻页方法

2.1 1.找到不同页地址的变化规律，利用循环实现翻页

b = Chrome()
# 翻3页，一页是相差25
for x in range(0, 76, 25):
    b.get(f'https://movie.douban.com/top250?start={x}&filter=')
    print(b.page_source)
input()

2.2 2.控制浏览器翻页按钮（点击翻页按钮，刷新页面内容，在刷新后获取网页源代码）

b = Chrome()
b.get(f'https://movie.douban.com/top250?start=0&filter=')
for i in range(5):
     print(b.page_source)    # 第一页数据
    # 点击下一页按钮
    b.find_element(By.CLASS_NAME, 'next')
    next_button = b.find_element(By.CSS_SELECTOR, '.next')

• 方法2 设计知识点：
  1.selenium 获取标签
  浏览器对象.b.find_element(获取方式，数据) - 返回符合条件的第一个，结果是标签对象
  浏览器对象.b.find_elements(获取方式，数据) - 返回符合条件的所有标签，结果是列表，列表中的元素是标签对象

• By.ID - 通过ID属性值获取标签
  By.CLASS_NAME - 通过class属性值获取标签
  By.CLASS_SELECTOR - 通过css选择器获取标签
  By._LINK_TEXT - 通过a标签的标签内容获取标签
  By.PARTIAL_LINK_TEXT - 通过a标签的标签内容获取标签

• 2)操作标签
  1）输入框输入内容：输入框对应的标签,send_keys(内容)
  2）点击标签：标签对象.click

b = Chrome()
b.get(f'https://www.jd.com/')

# 获取id属性值为key的标签
search = b.find_element(By.ID, 'key')
search.send_keys('电脑\n')        # \n相当于按下enter键，

# 获取标签内容为“便宜包邮”的a标签
a1 = b.find_element(By.LINK_TEXT, '便宜包邮')
# a1.click()     # (自动点击跳转到便宜包邮页面)

# 获取标签内容中包含“口好”的a标签
a2 = b.find_element(By.PARTIAL_LINK_TEXT, '口好')
# a2.click()      # 自动点击a标签里面含口好两个字的标签----进口好物

3.用代码控制浏览器滚动

• js中页面滚动的代码：window.scrollBy(x方向的偏移量，y方向的偏移量)
  b.execute_script(‘window.scrollBy(0, 2000)’)

for x in range(8):
    b.execute_script('window.scrollBy(0, 800)')
    time.sleep(1)


time.sleep(2)
result = b.find_elements(By.CSS_SELECTOR, '#J_goodsList>ul>li')
print(len(result))