![](https://img-blog.csdnimg.cn/20191130172016535.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫
CurtainOfNight
一切都是最好的安排
展开
-
获取稳定的西刺代理IP
首先安装progressbar包pip install progressbar获取IP的源代码如下import requestsimport chardetimport randomimport timefrom bs4 import BeautifulSoupfrom telnetlib import Telnetimport progressbar user_agent...原创 2020-01-12 19:10:17 · 1543 阅读 · 1 评论 -
Python爬虫练手示例——爬取百度翻译结果
一、关于用爬虫爬取想要的信息我们必须要明确一些主要步骤:通过浏览器的开发者工具获取一些抓包工具找到目标URL(API接口); 分析普通的GET/POST请求还是Ajax型GET/POST请求; 选择合适的库进行爬取; 选择合适的库解析爬取的页面提取自己想要的结果,常见的有:正则表达式、xpath、BeautifulSoup等;二、前期知识准备:本次示例使用库是urllib库,...原创 2019-12-02 20:17:29 · 1979 阅读 · 3 评论 -
Python爬虫入门(一)—— urllib库
目录urllib库Python2和Python3的urllib库的区别:urllib两个常用模块:urllib.request,urllib.parseurllib.request.urlopen(url, data=None, proxies=None)read():读取相应内容,内容是字节类型;geturl():获取请求的urlgetheaders():获取头部信息...原创 2019-12-01 00:24:45 · 987 阅读 · 2 评论 -
Windows下安装Scrapy爬虫框架
如果没有安装wheel就需要先安装wheel pip install wheel 安装lxml,使用pip安装就行了,如果不行就在pycharm中安装 安装PyOpenssl,在pycharm包安装就可以安装 Twisted,下载地址是:https://www.lfd.uci.edu/~gohlke/pythonlibs/,然后使用pip安装就行了 ...原创 2019-02-17 12:37:45 · 290 阅读 · 0 评论 -
什么是网络爬虫?有什么用?怎么爬?终于有人讲明白了
导读:网络爬虫也叫做网络机器人,可以代替人们自动地在互联网中进行数据信息的采集与整理。在大数据时代,信息的采集是一项重要的工作,如果单纯靠人力进行信息采集,不仅低效繁琐,搜集的成本也会提高。此时,我们可以使用网络爬虫对数据信息进行自动采集,比如应用于搜索引擎中对站点进行爬取收录,应用于数据分析与挖掘中对数据进行采集,应用于金融分析中对金融数据进行采集,除此之外,还可以将网络爬虫应用于舆情监测与...原创 2019-04-08 21:48:38 · 1489 阅读 · 0 评论 -
FOFA爬虫大法——API的简单利用
FOFA是一款网络空间搜索引擎,它通过进行网络空间测绘,帮助研究人员或者企业迅速进行网络资产匹配,例如进行漏洞影响范围分析、应用分布统计、应用流行度等。 何为API?如果你在百度百科上搜索,你会得到如下结果:API(ApplicationProgrammingInterface,应用程序编程接口)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件...原创 2019-12-01 00:26:36 · 3874 阅读 · 0 评论