- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 [爬虫技巧] Scrapy中定制写入CSV文件的Pipeline
前言： 在使用Scrapy写项目时，难免有时会需要将数据写入csv文件中，自带的FEED写法如下：settings.py （系统：Ubuntu 14）FEED_URI = 'file:///home/eli/Desktop/qtw.csv'FEED_FORMAT = 'CSV' 无需另写pipeline类，这种写法是最简单的。但鱼和...
2018-03-17 12:21:46
14665
3
原创 [爬虫项目]scrapy使用ImagePipeline下载图片And图片分类存储（解决路径问题）
项目介绍： 使用Scrapy下载千图网首页图片的高清样张，系统为Ubuntu 14.04 千图网反爬： 1、访问频率限制，延时需设置适当，频率上限后会要求输入4位验证码（3-6次），仍持续该频率将被封号4-6小时(测试数据) 2、经测试，当被检测为恶意访问后,网站未对IP进行封杀,只是封帐号 综上可知其反爬技术并不算...
2018-03-16 22:55:11
5970
1
原创 [已解决]ubuntu导入scrapy报错: No module named twisted.persisted.styles
场景: ubuntu安装scrapy后,在python2.7解释器上导入scrapy时报错: No module named twisted.persisted.styles解决: sudo pip install twisted --upgrade
2018-03-16 11:36:47
3210
1
原创 [已解决]笔记本安装ubuntu后不能识别无线网卡
症状： 刚在windows7电脑上装完ubuntu（做双系统）。进入ubuntu通过ifconfig命令看不到wlan网卡，只有以太网卡和loopback口解决： 1、检查无线网卡类型：lspci |grep Network ,返回Network controller:Qualcomm Atheros Device 0042(rev 31)，由此确认是高通的网卡。（若是Broad...
2018-03-13 20:26:42
14426
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人