关闭

scrapy中遇到的问题与解决

Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 因为好像这个用的比较多,所以看看用这个框架该怎么写爬虫。其实不难,但是中间出了很多神奇的小问题。 输出不正确、改代码结果不变?其实是因为反复使用命令scrapy crawl spider -o 1.json时候,增加的输出数据不会覆盖,而是继续往后面添加。request不...
阅读(1211) 评论(0)

python小爬虫-糗百

序在家没事本来想弄一下pyqt,做一些python下的界面,但是eric装了半天没成功……于是改做爬虫(:3[__] 还好网上教程多,参考了一下,大致的框架都比较简单,难的在于针对不同的网页如何写正则表达式。不过这东西写多了应该就掌握方法了。从网上找了一段代码是爬糗百的,由于改版原来的表达式失效了,正好有了一个锻炼的机会。以下是代码:代码# -*- coding:utf-8 -*- import...
阅读(159) 评论(0)

Deepdream 实现

Deepdream是一年半前谷歌搞的一个深度学习“艺术品”,最近在cs231n课上看到了,感觉还是很interesting。环境准备deepdream还是基于python和caffe深度网络的,因此大概需要以下环境: Standard Python scientific stack: NumPy, SciPy, PIL, IPython. Those libraries can also be in...
阅读(2435) 评论(2)

Caffe-python interface 学习|网络训练、部署、测试

继续python接口的学习。剩下还有solver、deploy文件的生成和模型的测试。 网络训练 solver文件生成 其实我觉得用python生成solver并不如直接写个配置文件,它不像net配置一样有很多重复的东西。 对于一下的solver配置文件: base_lr: 0.001 display: 782 gamma: 0.1 lr_policy: “step” max...
阅读(3119) 评论(0)

Caffe-python interface 学习|网络定义详解

之前用的都是caffe的命令行接口,单独训练还行,不过看里面层的参数、数据还是很麻烦的。特别是这周实验遇到了比较大的问题,命令行无能为力,还是要好好看看python接口。 python 接口编译 这个一般在编译caffe时都会顺带完成,如果遇到ImportError: No module named caffe,可能是没有编译或者没有添加到路径。 编译可以在根目录下make pycaff...
阅读(1638) 评论(0)
    个人资料
    • 访问:74339次
    • 积分:1211
    • 等级:
    • 排名:千里之外
    • 原创:44篇
    • 转载:5篇
    • 译文:5篇
    • 评论:18条
    文章分类
    最新评论
    小一一的CSDN