笔记
文章平均质量分 65
水星哥@
这个作者很懒,什么都没留下…
展开
-
永久配置下载源到国内镜像
将pip下载源配置为国内的镜像用国外的下载源发现速度不是一般的慢user(用户)目录中创建一个pip目录如:C:\Users\pip然后新建文件 pip.ini注:创建pip.ini文件时可以直接在桌面新建txt文本再将其改为pip.ini并且移动到刚刚创建好的文件中在pip.ini文件中输入以下内容(以阿里云镜像为例,个人认为阿里云较为稳定):https://pypi.tun...原创 2020-04-29 08:17:39 · 401 阅读 · 1 评论 -
常见的反爬机制
常见的基础反爬1、Headers反爬虫 :Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 :网站根据IP地址访问频率进行反爬,短时间内进制IP访问 解决方案: 1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池 2、购买开...原创 2020-04-28 15:17:15 · 3500 阅读 · 0 评论 -
电影天堂爬取实例—requests
电影天堂爬取实例—requests#导入模块import requests,time,random,refrom useragents import ua_list#一级页面正则#<table width="100%".*?<td height="26">.*?<a href="(.*?)".*?class="ulink">(.*?)</a>...原创 2020-04-26 11:30:36 · 506 阅读 · 0 评论 -
python网络爬虫入门之URL编码模块
URL地址编码模块为什么要给地址 编码我们在浏览器里面输入查询参数时浏览器会自动给我们进行编码,当我们用爬虫程序进行获取内容时浏览器识别不了我们所输入的内容,所以就要编码作用给URL地址中查询参数进行编码编码前:https://www.baidu.com/s?wd=美女编码后:https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3比如我们在浏览...2020-03-05 20:31:29 · 318 阅读 · 0 评论