urllib/urllib2和BeautifulSoup爬虫学习

一、urllib/urllib2常用方法

1. 简单访问网址

urllib.urlopen(url).read() #返回网页源代码

2. 加cookies的请求

urllib.request

二、BeautifulSoup常用方法

1. 常用方法

content = urllib.urlopen(url).read()
soup = BeautifulSoup(content,"lxml")

print soup.title  # <title>这里是标题<title>
print soup.title.string  # 这里是标题

#<p id="attrName">xxx</p>
print soup.p["id"]  # attrName