1、from bs4 import BeautifulSoup 报错 ImportError: No module named bs4
引用之前我已经安装了 BeautifulSoup 模块,但还是报错,最终原因是我没有安装BeautifulSoup4,使用命令 pip install BeautifulSoup4,之后就解决了
2、从网页抓取的内容不全(还以为网站做了什么限制,不让抓取,因为有的网址使用该方法就挺全的)
url="http://hy.werer.cn/index.php?qb=p&page=2"
request = urllib2.Request(url=url,headers=headers)
response = urllib2.urlopen(request)
html = response.read()
html = BeautifulSoup(html)
解决办法:
修改 BeautifulSoup的参数
html = BeautifulSoup(html,"html5lib",from_encoding='gb2312')
注意这里的html5lib是个模块,要进行安装和引用的 安装使用 pip install html5lib,然后在头部 import html5lib
3、Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock
因为我的mysql.sock在 tmp文件夹下,所以链接项需要设置
db = MySQLdb.connect(host='localhost', user='root', passwd='root', db='python', port=3306, charset='utf8', unix_socket='/tmp/mysql.sock',cursorclass = MySQLdb.cursors.DictCursor)
4、只要脚本里面有中文,运行就报错 but no encoding declared
在py文件的第一行加上
#coding=utf-8