准备工作
安装Python2.5
安装easy_install,pycurl,lxml;建议使用firefox浏览器,可以方便的使用各
种调试插件。
基本知识
需要了解python中unicode的原理,以便掌握GBK和UTF-8的转换方法.
假设content是GBK编码,在python中,转换成UTF-8的方法如下:
Content=Content.decode(‘gbk’).encode(‘utf-8’)
3 专业技能
需要熟练掌握xpath,强烈推荐在信息抽取时使用xpath,这是一种基于文档结构
的方法。优于使用正则表达式。正则表达式是一种字符串匹配的方法,难于维
护。经常用到的xpath很少,比如抽取页面里的全部链接 “//a” 就好了,可以
用它把程序写的很优雅,易于维护。Lxml是python实现的高效的xml解析工具,易
于使用,示例如下:
建立DOM : dom=lxml.html.document_fromstring(content)
得到符合XPATH的元素列表:alist=dom.xpath(“//a[@id=’123’]”)
对这些元素做处理:
For a in alist:
Do something
需要指出的是,传入lxml.html.document_fromstring的content最好是
unicode的, 因此可以先做一个变换content=content.decode(‘encoding’)。
和服务器交互,推荐使用pycurl,这个部分已经封装好了,只要使用就可以
了。
def get_curl(user_agent="MSIE"):
"initialize curl handle"
dev_null = _StringIO.StringIO()
curl_handle = pycurl.Curl()
curl_handle.setopt(pycurl.FOLLOWLOCATION, 1)
curl_handle.setopt(pycurl.MAXREDIRS, 5)
curl_handle.setopt(pycurl.CONNECTTIMEOUT, connection_timeout)
curl_handle.setopt(pycurl.TIMEOUT, timeout)
curl_handle.setopt(pycurl.NOSIGNAL, 1)
curl_handle.setopt(pycurl.LOW_SPEED_LIMIT, 100)
curl_handle.setopt(pycurl.LOW_SPEED_TIME, low_speed_time)
curl_handle.setopt(pycurl.HTTPHEADER, ["User-Agent: %s" %
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)",
accept_type])
curl_handle.setopt(pycurl.MAXFILESIZE, max_size)
curl_handle.setopt(pycurl.COOKIEFILE, 'cookies.txt')
curl_handle.setopt(pycurl.COOKIEJAR, 'cookies.txt')
curl_handle.setopt(pycurl.WRITEFUNCTION, dev_null.write)
return curl_handle
def curl_fetch(curl_handle, url):
fp = _StringIO.StringIO()
curl_handle.setopt(pycurl.URL, url)
curl_handle.setopt(pycurl.WRITEFUNCTION, fp.write)
# perform the transfer
try:
curl_handle.perform()
except pycurl.error, e:
print e
return (-1,0,0)
content_type = curl_handle.getinfo(pycurl.CONTENT_TYPE)
return (curl_handle.getinfo(pycurl.HTTP_CODE),fp.getvalue(),
content_type)
安装Python2.5
安装easy_install,pycurl,lxml;建议使用firefox浏览器,可以方便的使用各
种调试插件。
基本知识
需要了解python中unicode的原理,以便掌握GBK和UTF-8的转换方法.
假设content是GBK编码,在python中,转换成UTF-8的方法如下:
Content=Content.decode(‘gbk’).encode(‘utf-8’)
3 专业技能
需要熟练掌握xpath,强烈推荐在信息抽取时使用xpath,这是一种基于文档结构
的方法。优于使用正则表达式。正则表达式是一种字符串匹配的方法,难于维
护。经常用到的xpath很少,比如抽取页面里的全部链接 “//a” 就好了,可以
用它把程序写的很优雅,易于维护。Lxml是python实现的高效的xml解析工具,易
于使用,示例如下:
建立DOM : dom=lxml.html.document_fromstring(content)
得到符合XPATH的元素列表:alist=dom.xpath(“//a[@id=’123’]”)
对这些元素做处理:
For a in alist:
Do something
需要指出的是,传入lxml.html.document_fromstring的content最好是
unicode的, 因此可以先做一个变换content=content.decode(‘encoding’)。
和服务器交互,推荐使用pycurl,这个部分已经封装好了,只要使用就可以
了。
def get_curl(user_agent="MSIE"):
"initialize curl handle"
dev_null = _StringIO.StringIO()
curl_handle = pycurl.Curl()
curl_handle.setopt(pycurl.FOLLOWLOCATION, 1)
curl_handle.setopt(pycurl.MAXREDIRS, 5)
curl_handle.setopt(pycurl.CONNECTTIMEOUT, connection_timeout)
curl_handle.setopt(pycurl.TIMEOUT, timeout)
curl_handle.setopt(pycurl.NOSIGNAL, 1)
curl_handle.setopt(pycurl.LOW_SPEED_LIMIT, 100)
curl_handle.setopt(pycurl.LOW_SPEED_TIME, low_speed_time)
curl_handle.setopt(pycurl.HTTPHEADER, ["User-Agent: %s" %
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)",
accept_type])
curl_handle.setopt(pycurl.MAXFILESIZE, max_size)
curl_handle.setopt(pycurl.COOKIEFILE, 'cookies.txt')
curl_handle.setopt(pycurl.COOKIEJAR, 'cookies.txt')
curl_handle.setopt(pycurl.WRITEFUNCTION, dev_null.write)
return curl_handle
def curl_fetch(curl_handle, url):
fp = _StringIO.StringIO()
curl_handle.setopt(pycurl.URL, url)
curl_handle.setopt(pycurl.WRITEFUNCTION, fp.write)
# perform the transfer
try:
curl_handle.perform()
except pycurl.error, e:
print e
return (-1,0,0)
content_type = curl_handle.getinfo(pycurl.CONTENT_TYPE)
return (curl_handle.getinfo(pycurl.HTTP_CODE),fp.getvalue(),
content_type)