Python今日头条网爬虫

encoding=utf8

import requests
from requests.exceptions import RequestException
import urllib
import json
import re
from bs4 import BeautifulSoup
from config import *
def get_index(offset,keyword):
data={
'offset':offset,
'format':'json',
'keyword':keyword,
'autoload':'true',
'count':20,
'cur_tab':3
}
url='http://www.toutiao.com/search_content/?'+urllib.urlencode(data)
response=requests.get(url)
try:
if response.status_code == 200:
return response.text
return None
except RequestException:
print u'请求索引页出错'
return None
def parse_page_index(html):
#将json格式的字符串转化成python对象,对象转换成json用 json.dumps()
data=json.loads(html)
if data and 'data' in data.keys():
for item in data.get('data'):
#yield 是url生成器 即取出article_url并生成url
yield item.get('article_url')
def get_page_detail(url):
response = requests.get(url)
try:
if response.status_code == 200:
return response.text
return None
except RequestException:
print '请求详情页出错'
return None
def parse_page_detail(html,url):
soup=BeautifulSoup(html,'lxml')
title = soup.select('title')[0].get_text()
images_pattern= re.compile('var gallery = (.*?);',re.S)
result = re.search(images_pattern,html)
if result:
data =json.loads(result.group(1))
sub_images = data.get('sub_images')
images = [item.get('url') for item in sub_images]
return {
'title' :title,
'url':url,
'images':images
}
def main():
html=get_index(0,'街拍')
for url in parse_page_index(html):
html=get_page_detail(url)
if html:
result=parse_page_detail(html,url)
print result['title']
if name == 'main':
main()

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值