[Scrapy爬虫]自己修改常用网站,去广告,省时间

介绍用Scrapy爬了某美剧网站,本来不想爬的。但是这个网站广告太多了,而且最近还把一个页面分成了六个。我每次访问都要打开六个页面,看很多广告,我的破电脑经常卡住,我都快疯了。于是,我自己做了爬虫去爬,爬完了以后,生成一个个没有广告的页面,顿时心情好了 ^_^。看,都是广告,而且把资源按天分成了六...

2017-05-30 12:01:49

阅读数 1738

评论数 0

爬虫工具在就业市场的受欢迎程度

整整两个月之前,由于项目需要,我需要学习一下爬虫技术。我看了很多文章,也不知道哪个工具好,哪个工具受欢迎,学了哪个工具以后会有利于找工作。我想了半天,突然想到了,何不直接上51job去看呢,于是,我查了15job上面北上广深杭工资在15000以上的345个岗位,一个一个的打开所有的页面,才找到了我...

2017-05-26 23:27:18

阅读数 2542

评论数 0

收藏的资源

Markdown 在线 编辑器Editor.md这个程序的好处是,有详细的MD的说明。我使用的时候,都是开两个窗口,一边是我编辑中的文档,一边是说明。 https://pandao.github.io/editor.md/en.html (英文) https://pandao.github.i...

2017-05-25 09:34:55

阅读数 682

评论数 0

用一台笔记本跑ROVIO

经过两个月的努力,终于在一台笔记本上,让ROVIO跑起来了。这里分享一下经验教训。       目录 背景... 2 ROVIO.. 2 目标... 2 硬件... 2 扩展ROVIO.. 3 安装... 3 处理视频和IMU数据... 4 Calibration 校准... 4 测试... ...

2017-05-24 16:29:07

阅读数 3943

评论数 2

ROVIO NOROS Installation

apt-get install libyaml-cpp-dev sudo apt-get install libxmu-dev libxi-dev

2017-05-24 14:44:48

阅读数 1434

评论数 1

在Eclipse CDT下调用HIDAPI - Ubuntu 14.04

这里介绍两种方案,大家自选一种。 方案一:普通C++项目 (没有 cmake) Project(项目)–>Properties(属性) 在C/C++ Build下, 点 Settings(设置)。在右边的面板中,选择Tool Settings(工具设置)。Here we wil...

2017-05-24 10:26:24

阅读数 787

评论数 2

Eclipse CDT notes

Enable C++11 Create a new c++ project. Go to properties-> Settings ->Tool Settings->Cross GCC Compiler -> Language standard. Sele...

2017-05-24 09:06:21

阅读数 479

评论数 0

提示
确定要删除当前文章?
取消 删除