爬虫常用的user_agent

我多年收集的USER_AGENT,都整理正列表了,几百个拿去直接用! 有些是有点年头了,随机选就行了 USER_AGENT = [ ‘Mozilla/5.0 (iPhone; U; CPU like Mac OS X; en) AppleWebKit/420+ (KHTML, like Gecko...

2018-10-20 11:16:58

阅读数 232

评论数 1

vim实用命令

在linux里面编程,最好用的编辑器还是vim,以下是我平时用的一些基本命令,比较简单,也是最有用的,也就三十几条命令。这些命令不会使你变成大神,但是基本操作完全够用,只要熟练,也可以称为半神 Vi命令: A:插入到行尾 a:插入到光标后 大写I:插入到行首 小写i:插入到光标前 yy :复制...

2018-10-18 18:14:52

阅读数 28

评论数 0

scrapy + mongodb爬取电影TOP250

无聊想看电影,今天上豆瓣看了一下,顺便爬了点豆瓣电影top250的榜单,并将数据存储到了mongodb中。 用到了scrapy + windows + mongodb 难点基本没有,也没遇到坑,就是存到mongodb数据库的时候有几步忘了,查了一下,看来要多用数据库才行。 废话不多说,直接贴代码。...

2018-10-18 17:38:36

阅读数 41

评论数 0

scrapy框架实现百度图片爬虫

scrapy框架实现百度图片爬虫 这是我个人获取搜索引擎图片的爬虫思路,还有很多待完善的地方 此程序的环境为windows + pycharm + python3.6 + scrapy 思路:百度图片加载是基于ajax数据加载的,图片的url都藏在后台发送的json文件中,所以需要在开发者模式xh...

2018-10-17 16:52:12

阅读数 175

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭