bs4抓取html,使用bs4提取html文件中的文本

想从我的html文件中提取文本。如果我对特定文件使用以下命令:import bs4, sys

from urllib import urlopen

#filin = open(sys.argv[1], 'r')

filin = '/home/iykeln/Desktop/R_work/file1.html'

webpage = urlopen(filin).read().decode('utf-8')

soup = bs4.BeautifulSoup(webpage)

for node in soup.findAll('html'):

print u''.join(node.findAll(text=True)).encode('utf-8')

它会起作用的。

但在下面尝试使用open(sys.argv[1],'r')处理非特定文件:import bs4, sys

from urllib import urlopen

filin = open(sys.argv[1], 'r')

#filin = '/home/iykeln/Desktop/R_work/file1.html'

webpage = urlopen(filin).read().decode('utf-8')

soup = bs4.BeautifulSoup(webpage)

for node in soup.findAll('html'):

print u''.join(node.findAll(text=True)).encode('utf-8')

或者import bs4, sys

from urllib import urlopen

with open(sys.argv[1], 'r') as filin:

webpage = urlopen(filin).read().decode('utf-8')

soup = bs4.BeautifulSoup(webpage)

for node in soup.findAll('html'):

print u''.join(node.findAll(text=True)).encode('utf-8')

我将得到以下错误:Traceback (most recent call last):

File "/home/iykeln/Desktop/py/clean.py", line 5, in

webpage = urlopen(filin).read().decode('utf-8')

File "/usr/lib/python2.7/urllib.py", line 87, in urlopen

return opener.open(url)

File "/usr/lib/python2.7/urllib.py", line 180, in open

fullurl = unwrap(toBytes(fullurl))

File "/usr/lib/python2.7/urllib.py", line 1057, in unwrap

url = url.strip()

AttributeError: 'file' object has no attribute 'strip'

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值