Python爬虫系列(一)初期学习爬虫的拾遗与总结
来源:极客头条
最近,为了提取裁判文书网的有关信息,自己迈入Python的学习之路,写了快两周的代码,自己写这篇文章总结下踩过的坑,还有遇到一些好的资料和博客等总结下(站在巨人肩膀上,减少重复工作),以便自己后期复习和参考和、分享给大家交流学习,也欢迎大家补充些精彩内容。
一、环境搭建和工具准备
1、为了省去时间投入学习,推荐直接安装集成环境 Anaconda
2、IDE:Pycharm、Pydev
3、工具:Jupyter Notebook(安装完Anaconda会有的)
二、Python基础视频教程
1、疯狂的Python:快速入门精讲(Python2.x,可体验到与Python3.x的差异)
2、零基础入门学习Python(小甲鱼的视频课程)
看完这些课程,自己对Python有一个感觉和掌握,可以继续看一些进阶教程
3、Python3大全(pasword:bf3e)
三、Python爬虫视频教程
1、Python网络爬虫实战(完整的看下来,收获不小)
2、Python3爬虫三大案例实战分享(非常好的课程,很多干货)
四、Python爬虫的相关连接
五、正则表达式和BeautifulSoup、PhatomJS +Selenium的使用
2、轻松自动化---selenium-webdriver(python)
5、Selenium Webdriver定位页面元素的几种方式
6、 Python爬虫利器Selenium+PhantomJS系列入门
(大家可以关注写这些文章的作者,一般他们有Python文集,大家可以收藏下有参考价值的文章)
六、自己爬取新浪新闻相关信息的实战
![](http://www.jianshu.com//upload-images.jianshu.io/upload_images/1531909-ced8c9015ae3f64d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
我直接把源码贴在这里了,是参考Python网络爬虫实战课程做下来的
新闻评论数抽取函数
import re
import json
import requests
#js抓取新闻评论信息
commentURL='http://comment5.news.sina.com.cn/page/info?version=1&format=js&\
channel=gn&newsid=comos-{}&\
group=&compress=0&ie=utf-8&oe=utf-8&page=1&page_size=20&jsvar=loader_1491395188566_53913700'
def getCommentCounts(newsurl):
#获取新闻id
m=re.search('doc-i(.+).shtml',newsurl)
newsid=m.group(1)
#根据新闻id获取评论信息
comments=requests.get(commentURL.format(newsid))
#将信息解析为json格式
jd=json.loads(comments.text.strip('var loader_1491395188566_53913 700='))
return jd['result']['count']['total']
![](http://www.jianshu.com//upload-images.jianshu.io/upload_images/1531909-816bdf3571c4c046.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
新闻内文信息抽取函数
import requests
from datetime import datetime
from bs4 import BeautifulSoup
def getNewsDetail(newsurl):
result={}
res=requests.get(newsurl)
res.encoding='utf-8'
soup=BeautifulSoup(res.text,'html.parser')
result['title']=soup.select('#artibodyTitle')
timesource=soup.select('.time-source')[0].contents[0].strip()
result['dt']=datetime.strptime(timesource,'%Y年%m月%d日%H:%M')
result['source']=soup.select('.time-source span a')[0].text
result['article']=' '.join([p.text.strip() for p in soup.select('#artibody p')[:-1]])
result['editor']=soup.select('.article-editor')[0].text.lstrip('责任编辑:')
return result
![](http://www.jianshu.com//upload-images.jianshu.io/upload_images/1531909-31f28053ea54647d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
七、感想
这些天学习下来,Python爬虫思路和套路很明确,主要是我们要对不同网站(反爬等)设计不同爬取路线和方法,但是还是要求自己总结方法和积累知识吧,还有一点自己也希望能把爬虫运用到实际生活或者应用中(如果单纯的抽取一个网页信息其实没多大意思),比如尝试应用到批量下载一个网站的图片或者文件等等,让爬虫为我们服务。
转自http://ms.csdn.net/geek/192755