![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
学习使我快乐,才怪。
There is always a way to go in life.
展开
-
爬虫_cookie的处理
一、获取cookie 手动获取:手工登录获取cookie,登录成功后可以不断更新cookie到文件中存储。参考:https://www.jianshu.com/p/5ef0c7bb1ed2#导入requests包import requeststargetURL = '目标网站地址'#设置头UAheaders = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML转载 2021-07-02 17:12:57 · 190 阅读 · 0 评论 -
selenium+webdrive
weibdrive使用首先到chrome中选择右上方三个点,打开选项,选择帮助,选择Google chrom,查看当前chrom版本号。在根据版本号到下载地址进行下载。weibdrive下载地址:http://chromedriver.storage.googleapis.com/index.html选择较为相同或是相近的版本号进行下载。根据不同的系统自行下载。下载后进行解压文件。将文件放到python安装根目录下。最后使用from selenium import webdriver原创 2021-06-28 18:20:48 · 324 阅读 · 0 评论 -
数据分析的常用第三方库
1.数据收集scrapy:网页采集、爬虫。scrapy-redis:分布式爬虫。selenium:web测试、仿真浏览器。2.数据处理beautifulsoup:网页解释库,提供lxml的支持。lxml:xml解释库。xlrd:excel文件读取。xlwt:excel文件写入。slutls:excel文件简单格式修改。pywin32:excel文件的读取写入及复杂格式定制。Python-docx:Word文件的读取写入。3.数据分析numpy:基于矩阵的数学计算库。pandas:转载 2021-04-08 08:11:53 · 2006 阅读 · 0 评论