爬个图站,第一步看html_doc。结果输出不了
#coding=utf-8
import io
import sys
import requests
from bs4 import BeautifulSoup
#sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')
url = 'http://www.xmeim.com/photos/XiuRen-192001.html'
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2107.204 Safari/537.36'}
#用get方法打开url并发送headers
html = requests.get(url,headers = header)
print(html.text)
Sublime编译器下显示error
UnicodeEncodeError: 'gbk' codec can't encode character '\xe7' in position 660: illegal multibyte sequence
原理如博客所讲,就加了如下代码:
import io
import sys
import urllib.request
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8') #改变标准输出的默认编码
res=urllib.request.urlopen('http://www.baidu.com')
htmlBytes=res.read()
print(htmlBytes.decode('utf-8'))
第一段代码去掉sys行的#就正常了。
Sublime轻巧但tm总是各种 code error,甚至我网上copy来的代码,他也code error。我去弄了个pycharm,能带着乱码的print出来了。至少让我知道不是我原理错了啊。感觉检验基本功shell最好,sublime弄个小代码可以,网页什么的pycharm更方便点,省心。
秀人网å°ä¹æœˆæ¸
甜å¯äººèº«æçŽ²ç‘ [40P] </div>
<div class="inline_full" style="display:none;">
秀人网å°ä¹æœˆæ¸
甜å¯äººèº«æçŽ²ç‘ [40P] </div>
<!-- æ¡Œé¢æµè§ˆå™¨å
¨å±ä»£ç 由于手机测试ä¸æˆåŠŸé¡¾ä¸æ˜¾ç¤º -->