爬虫
月落呜啼霜满天天天
这个作者很懒,什么都没留下…
展开
-
利用快代理搭建自己的代理池(妈妈再也不用担心IP被封了)
利用快代理搭建属于自己的IP代理池快代理url如下:https://www.kuaidaili.com/free注:仅用来记录自己的学习!!!不要随意用于商业用途看到网上搭的代理池对小白不太友好,于是搭建了一个属于自己的IP代理池,就不用担心自己的IP被反爬封禁了!!!知识点:利用faker使得user-agent随机化将数据保存到MongoDB中可以随时调用从数据库中随意选择一个IP用来代替本地IP# -*- coding = utf-8 -*-# @Time:2020-10-原创 2020-10-07 17:13:45 · 3743 阅读 · 0 评论 -
windows安装scrapy框架
windows64安装scrapy框架步骤及问题1.下载twisted,下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted这里需要注意的是根据自己python的版本下载对应的wheel(可以在conda环境中输入python,即可看到版本)2.可能你的pip需要更新,按照提示更新即可!如果不需要更新,找道你下载后wheel的路径:然后pip install path/Twisted-20.3.0-cp37-cp37m-win_amd64原创 2020-08-15 16:14:33 · 604 阅读 · 0 评论 -
PPT模板爬虫案例
PPT模板python爬取对http://www.ypppt.com/moban/中的ppt模板进行爬取,网站设置了一些反爬机制,需要仔细分析url地址才能正确爬取!!!#-*- coding = utf-8 -*-#@Time:2020-08-13 16:43#@Author:来瓶安慕嘻#@File:免费简历爬取.py#@开始美好的一天吧 @Q_Q@import requestsimport osfrom lxml import etreeimport reif __name__原创 2020-08-13 19:27:55 · 835 阅读 · 0 评论