Python爬虫与正则表达式
python爬虫
- 本文环境: python2.7
爬虫主要的思路是三个:
- 找到URL,也就是相当于入口,找到你要爬取的链接,获取整个页面数据
- 使用正则表达式,匹配到你想要爬取的内容,这里使用的主要是正则表达式和一些常用的开源库
- 最后一步就是写入文本以及存储问题了,如文本文件、数据库
- 第一步找到URL获取整个页面数据,下面实现爬取整个页面的数据
# coding:utf-8 #是用来指定文件编码为utf-8
from urllib import urlopen #导入rullib模板用urlopen函数的形式作接口
import chardet #导入chardet模板,编码识别模块。
import re #导入re模板,通过re模块提供对正则表达式的支持
import urllib #导入urllib模板,获取url
#这个链接是要爬取的网址,这里实现的是新浪新闻的爬取链接
url = "http://roll.news.sina.com.cn/interface/rollnews_ch_out_interface.php?col=90&spec=&type=&ch=01&k=