![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
停留一生
这个作者很懒,什么都没留下…
展开
-
网络爬虫day1:python中的request模块基本使用
网络爬虫day1:python中的request模块基本使用get和post的区别python运行代码请求头get和post的区别在互联网的世界中,有一个不经常提起但是经常使用的协议:TCP协议。它就好比一个快递公司。不同的浏览器(发起http请求)和服务器(接受http请求)就是不同的传输方式。get的方式就相当于快递员使用的小三轮车。理论上,你可以在快递车顶堆货物(url中无限加参数)...原创 2019-03-01 14:47:47 · 806 阅读 · 0 评论 -
使用selenium自动登录邮箱
使用selenium自动登录邮箱#1、selenium简介Selenium 是什么?一句话,自动化测试工具。它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,如果你在这些浏览器里面安装一个 Selenium 的插件,那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。话说回来,PhantomJS不也是一个浏览器吗,那么 ...原创 2019-03-05 14:50:11 · 1180 阅读 · 0 评论 -
使用beautifulsoup爬取丁香网评论
beautiful soup介绍Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:TagNaviga...原创 2019-03-03 21:37:44 · 14328 阅读 · 0 评论 -
python爬取西刺网代理IP地址
python IP代理1、ip信息2、使用python爬取西刺代理IP信息1、ip信息IP是英文Internet Protocol的缩写,意思是“网络之间互连的协议”,也就是为计算机网络相互连接进行通信而设计的协议。在因特网中,它是能使连接到网上的所有计算机网络实现相互通信的一套规则,规定了计算机在因特网上进行通信时应当遵守的规则。任何厂家生产的计算机系统,只要遵守IP协议就可以与因特网互连互...原创 2019-03-06 22:05:24 · 1376 阅读 · 0 评论 -
使用xpath方法爬取丁香网的评论消息
这里写自定义目录标题xpath简介XPath常用规则爬取论坛丁香网的源码xpath简介XPath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索。所以在做爬虫时,我们完全可以使用XPath来做相应的信息抽取。XPath的选择功能十分强大,它提供了非常简洁明了的路径选择表达式。另...原创 2019-03-04 17:11:55 · 21118 阅读 · 0 评论 -
丁香项目实战
#! /usr/bin/env python# -*- coding: utf-8 -*-# __author__ = "wxwinder"# __email__ = "wxwinder@qq.com"# __website__ = "www.cnblogs.com/bravexz"# Date: 2019/3/7from selenium import webdriverimp..原创 2019-03-07 22:03:47 · 2791 阅读 · 0 评论