python爬虫怎么爬同一个网站的多页数据-Python爬虫,翻页数据怎么爬,URL不变

网址:http://quote.eastmoney.com/ce…

我想爬所有页的名称数据,(这里只有两页),判断有没有下一页的条件该怎么写呢?

代码:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17from selenium import webdriver

driver=webdriver.PhantomJS()

url='http://quote.eastmoney.com/center/list.html#28003684_0_2'

driver.get(url)

usoup = BeautifulSoup(driver.page_source, 'xml')

n=[]

while True:

t=usoup.find('table',{'id':'fixed'})

utable=t.find_all('a',{'target':'_blank'})

for i in range(len(utable)):

if i % 6 ==1:

n.append(utable[i].text)

if #停止条件怎么写:

break

driver.find_element_by_xpath(r'//*@id="pagenav"]/a[2]').click()

usoup = BeautifulSoup(driver.page_source, 'xml')

后面这里就不会写了。。。

可以判断每一页的条目,每一页共20条,如果当前页不足20条的时候,说明此页是最后一页了,爬完当前页就该停止了

话说 这个表格不是都有个jsonp的返回接口吗?为什么还要爬?

走的就是jsonp接口,直接拿就好了。

非要抓取的话,只能用selenium + phantomjs 之类的模拟页面去获取了。

http://nufm.dfcfw.com/EM_Fina…{rank:[(x)],pages:(pc)}&token=7bc05d0d4c3c22ef9fca8c2a912d779c&jsName=quote_123&_g=0.5385195357178545

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值