网络爬虫scrapy crawl ticketCrawler修改日志

1、路径问题
import sys
import os
sys.path.append(os.path.dirname(os.path.realpath(__file__)))

2. 格式问题
print err 改为 print (err) (pipelines.py、ticketSpider.py多处)
print "数据表中已有数据" 改为 print ("数据表中已有数据") (pipelines.py)

3. 日志问题
from scrapy import log注释掉（pipelines.py）

4. python3中编码问题
运行时日志提示：Request url must be str or unicode, got bytes。
encode后url会变成bytes,删除所有.encode('utf-8') （ticketSpider.py 10处）

5. mysql支持问题 
python3的pymysql把python2的mysqldb库取代了，让python 3支持mysqldb的解决方法
import pymysql 
pymysql.install_as_MySQLdb()  (pipelines.py)

6. 数据库连接问题
修改 MYSQL_PASSWORD = 'xxxxx' 将密码改成自己MYSQL的密码 (settings.py)
修改 engine = create_engine("mysql+mysqldb://root:xxxxx@127.0.0.1:3306/ticketCrawler?charset=utf8", max_overflow=10000) 密码改成真实密码 (pipelines.py)
代码中未创建库，在MYSQL中创建数据库ticketCrawler。

7. 表格创建问题
item.__class__，TicketCrawlerItem(包含目录名，文件名，类名)
if item.__class__==TicketCrawlerItem:
if item.__class__.__name__==TicketCrawlerItem.__name__:

8.软件安装问题
MYSQL https://blog.csdn.net/u010211877/article/details/105038959
scrapy pip安装