Python网络爬虫

Python爬虫与正则表达式

python爬虫

• 本文环境: python2.7
  爬虫主要的思路是三个：

1. 找到URL，也就是相当于入口，找到你要爬取的链接，获取整个页面数据
2. 使用正则表达式，匹配到你想要爬取的内容，这里使用的主要是正则表达式和一些常用的开源库
3. 最后一步就是写入文本以及存储问题了，如文本文件、数据库

• 第一步找到URL获取整个页面数据，下面实现爬取整个页面的数据

# coding:utf-8      	   #是用来指定文件编码为utf-8
from urllib import urlopen #导入rullib模板用urlopen函数的形式作接口
import  chardet            #导入chardet模板，编码识别模块。
import re    #导入re模板，通过re模块提供对正则表达式的支持
import urllib  #导入urllib模板，获取url
 	#这个链接是要爬取的网址，这里实现的是新浪新闻的爬取链接
    url = "http://roll.news.sina.com.cn/interface/rollnews_ch_out_interface.php?col=90&spec=&type=&ch=01&k=