- 博客(4)
- 收藏
- 关注
原创 scrapy 框架之post请求
通常网站通过 实现对某些表单字段(如数据或是登录界面中的认证令牌等)的预填充。使用Scrapy抓取网页时,如果想要预填充或重写像用户名、用户密码这些表单字段,
2018-04-20 19:19:44 2879 1
原创 爬虫数据保存到MongoDB
打开MongoDB服务器打开MongoDB服务器 sudo mongod启动MongoDB客户端#新开终端输入mongo #启动MongoDB客户端exit/ctrl+c #退出客户端查询数据库show dbs使用数据库use 数据库名字#如果没有此数据库,需要创建数据库。#方法:use 数据库名字 #db.名字.insert({key:...
2018-04-18 21:29:28 2226
原创 python 之 TCP与UDP应用场景、区别、注意事项、代码示例
TCP和UDP是OSI模型中的传输层中的协议TCP协议,传输控制协议,是一种面向连接的、可靠的、基于字节流的传输层通信协议UDP则常被用于让广播和细节控制交给应用的通信传输。
2018-04-16 13:19:43 395 1
原创 python之scrapy框架中间件,请求头,IP代理及fake-useragent使用,及面试中正向代理、反向代理区别
什么下载器中间件? 引擎与下载器之间的一个组件,一个爬虫可以有很多下载器中间件I
2018-04-14 18:08:19 6280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人