爬虫
Angel_LQ
蜗牛一步一步往上爬
展开
-
cookie 简介
1、cookie的作用:我们在浏览器中,经常涉及到数据的交换,比如你登录邮箱,登录一个页面。我们经常会在此时设置30天内记住我,或者自动登录选项。那么它们是怎么记录信息的呢,答案就是今天的主角cookie了,Cookie是由HTTP服务器设置的,保存在浏览器中,但HTTP协议是一种无状态协议,在数据交换完毕后,服务器端和客户端的链接就会关闭,每次交换数据都需要建立新的链接。就像我们去超市买东西,没...原创 2018-04-14 22:06:16 · 295 阅读 · 0 评论 -
python 实现简单的爬虫
git 地址:https://github.com/Angel-LQ/MySampleCrawler 实现了百度百科对于 python 词条的1000 个页面抓取程序模块: 1. url 管理器: 建立两个 set 分别存储 待抓取 url 和 已抓取 url,实现去重 2. 网页下载器 使用 urllib.request 库实现 url 的下...原创 2018-04-15 21:50:50 · 179 阅读 · 0 评论