Python
文章平均质量分 75
Kompany4
这个作者很懒,什么都没留下…
展开
-
Python 爬虫IP代理
想必大家在写爬虫都有遇到过这样的错误:UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte这样错误是来源于网站进行对文本进行了压缩,在爬取的信息返回到客户端后由于没有解压所以报出以上错误。解决方法如下:我们需要导入 gzip以及io模块:1:先将爬取的对象原创 2017-06-15 11:07:18 · 579 阅读 · 0 评论 -
Tkinter Label 文本的多行显示
在 Tk004 中,使用 width 和 heigth 来指定控件的大小,如果指定的大小无法满足文本的要求是,会出现什么现象呢?如下代码:Label(root,text = 'welcome to jcodeer.cublog.cn',width = 10,height = 3).pack()运行程序,超出 Label 的那部分文本被截断了,常用的方法是:使用自动换行功能,及当文本原创 2017-06-19 16:44:18 · 28160 阅读 · 3 评论 -
Python3 URLopen 含中文URL的处理方法
借用知乎的解答:url当中不可能有中文,因为url可以使用的字符有限制,所有其他字符都应该使用url编码,你应该先把中文编码成%XX这样的形式再拼起来解决方法如下:from urllib.parse import quoteimport stringurl = r'https://baike.baidu.com/item/百度百科/85895?fr=aladdin'url原创 2017-07-30 22:58:26 · 1039 阅读 · 0 评论 -
利用高德API + Python爬取链家网租房信息 01
from bs4 import BeautifulSoupfrom urllib.request import urlopenimport csvurl = 'https://gz.lianjia.com/zufang/rs{page}/'page = 0csv_file = open('f原创 2017-09-04 22:06:28 · 1486 阅读 · 0 评论 -
Python学习多进程并发写入同一文件
最近学习了Python的多进程,想到我的高德API爬虫那个爬取读写速度我就心累,实在是慢,看到多进程可以充分利用CPU核数我就开始完善我的代码,不过过程是艰辛的,在此之中出现了很多问题,其中最大的问题是爬取的数据是正确的,但是读写到Excel中却打开是空,想了半天也没解决,脑子笨没办法,不过我回想到多进程中不同进程是相互独立即在多个进程下把数据写入同一文件由于是并发进行操作系统中会不清楚到底要原创 2017-09-26 22:12:04 · 19714 阅读 · 1 评论 -
Python3中Flask使用flask_sqlalchemy的的问题以及解决
(一)Python3在flask_sqlalchemy中相比改动了一些比如模块的导入。在Python2中应该是 from flask.ext.sqlalchemy impot SQLAlchemy虽然在Python3中这样使用其实不会错但是Python3中不赞成这样使用可能在未来会取消flask.ext.sqlalchemy这是个趋势在Python3中建议使用from flask_原创 2017-10-17 21:30:12 · 17909 阅读 · 1 评论