爬虫随笔
文章平均质量分 96
海绵菌
本科大二小白,Ubuntu+Python忠粉,学习的捷径就是输出!
展开
-
爬虫随笔(4):Python+Selenium+Chrome——三剑合璧
学习心得从五月份到现在,学爬虫三个月了,也算对爬虫比较了解了。到目前为止,我最喜欢的还是Scrapy和模拟浏览器,虽然大家总是说模拟浏览器太慢,不过当你的爬虫对速度要求没那么高、对爬虫质量有要求、网站很复杂需要各种动态各种加载各种请求的时候,模拟浏览器就是最好(玩)的选择。Python+Selenium+Chrome就是我现在用的主流模拟浏览器方案,模拟浏览器提供了非常多的接口方法和属性以...原创 2018-08-03 17:39:13 · 592 阅读 · 0 评论 -
爬虫随笔(5):ubuntu16.04(LTS)下安装Redis数据库以及桌面管理工具
1.在命令行执行:# 安装$ sudo apt-get install redis-server# 检查系统进程$ ps -aux|grep redis# 查看端口信息$ netstat -nlt|grep 6379# 检查服务器状态$ sudo /etc/init.d/redis-server status# 启动、重启、停止$ sudo /etc/init.d/red...原创 2018-08-10 15:49:06 · 384 阅读 · 0 评论 -
爬虫随笔(1):Spyder(Python 2.7)环境搭建 & 爬虫初体(ru)验(keng)
爬虫环境搭建首先,我们选取Anaconda来开启爬虫之旅,为什么呢?因为Anaconda是一个开源的Python发行版本,包含180多个科学包及其依赖项。Python本身是一门严重依赖依赖的语言,如果你在学习之初没有很好的规划,后面可能会有点乱(版本、包)。笔者是这样的:前期安装Anaconda2.7版本,各种环境和包配置在其自带的Python27上,后面转用pycharm可以选择...原创 2018-05-24 23:49:50 · 7462 阅读 · 0 评论 -
爬虫随笔(2):商业爬虫工具Scrapy的学习
商业爬虫工具Scrapy的学习配置环境在CMD命令台输入安装命令:> pip install scrapy检查安装情况:> scrapyScrapy 1.5.0 - no active projectUsage:...#返回以上信息说明安装成功爬虫命令台命令Available commands: bench原创 2018-05-24 23:51:45 · 778 阅读 · 0 评论 -
爬虫随笔(3):scrapy-redis分布式爬虫
前言学了两星期requests入门爬虫后,又学了一星期Scrapy。。然后,我就被迫强上分布式爬爬虫了。。也是应了一直以来我的学习心得,赶着DDL硬着头皮逼出来的,往往是学得最快的一个阶段。还记得那天下午开始搞redis,网上其他大佬写的代码太高级没看懂,只好对着官方文档做些基础操作。搞到那天晚上11点多,分布式爬虫才总算动起来了,当晚一个通宵就把分布式爬虫框架做出来给组员整合代码...原创 2018-05-24 23:57:04 · 441 阅读 · 0 评论 -
Python Requests:两个例子说明get和post方法+用谷歌浏览器查看网络请求
文章目录一、前言二、get请求三、post请求一、前言上学期学完了Python爬虫后,就一直想着自己做个系统的爬虫课程博客。原因是前面写的爬虫随笔系列内容太随便,而且例子也不够丰满,实操体验不足,对于寻求某个特定问题的人确实能提供优秀的解决方案,但对学习的新手来说体验还是不足。不过后来爬虫课程也一直迟迟没有做起来,一个是没有时间和机会,另一个也是很难找一些很好的例子。这个过程也深深体验到,学和...原创 2018-11-09 16:20:48 · 4206 阅读 · 2 评论