BeautifulSoup4抓取百度词典.1

需要安装的模块：

pip install requests

pip install beautifulsoup4 

pip install lxml

pip install html5lib

>>> headers={'user_agent': 'Mozilla/5.0'}
>>> url='http://dict.baidu.com/s'
>>> params={'wd':'android','home':'pc'}
>>> r=requests.get(url,headers=headers,params=params)
>>> text=r.text
>>> soup=BeautifulSoup(text,'lxml')
>>> tab_content=soup.select('div .tab-content')
>>> tab_content
[<div class="tab-content">
<p>
</p><div style="display:inline-block">android</div>
<a href="?wd=安卓">安卓</a>
</div>, <div class="tab-content">
<p>
            Android是一种基于Linux的自由及开放源代码的操作系统，主要使用于移动设备，如智能手机和平板电脑，由Google公司和开放手机联盟领导及开
发。尚未有统一中文名称，中国大陆地区较多人使用“安卓”或“安致”。Android操作系统最初由Andy Rubin开发，主要支持手机。2005年8月由Google收购注
资。2007年11月，Google与84家硬件制造商、软件开发商及电信营运商组建开放手机联盟共同研发改良Android系统。随后Google以Apache开源许可证的授权方式
，发布了Android的源代码。第一部Android智能手机发布于2008年10月…
            <a href="http://baike.baidu.com/subview/1241829/9322617.htm" target="baike">查看百科</a>
</p>
</div>]
>>> content=tab_content[len(tab_content)-1].text
>>> content=content.replace('\n','').replace('查看百科','').strip()
>>> content
'Android是一种基于Linux的自由及开放源代码的操作系统，主要使用于移动设备，如智能手机和平板电脑，由Google公司和开放手机联盟领导及开发。尚未有
统一中文名称，中国大陆地区较多人使用“安卓”或“安致”。Android操作系统最初由Andy Rubin开发，主要支持手机。2005年8月由Google收购注资。2007
11月，Google与84家硬件制造商、软件开发商及电信营运商组建开放手机联盟共同研发改良Android系统。随后Google以Apache开源许可证的授权方式，发布了
ndroid的源代码。第一部Android智能手机发布于2008年10月…'