![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python网络爬虫篇
文章平均质量分 79
热心市民小磊
做一个技术宅
展开
-
loginWeibo自制模块:使用selenium模拟登陆微博并获取cookie
(一)编程环境操作系统:Win 10编程语言:Python 3.7(二)安装selenium这里使用selenium实现。如果没有安装过python的selenium库,则安装命令如下pip install selenium(三)下载ChromeDriver因为selenium要用到浏览器的驱动,这里我用的是Google Chrome浏览器,所以要先下载ChromeDriver.e...原创 2019-04-15 10:01:45 · 910 阅读 · 1 评论 -
获取知网摘要与PDF文件
搜索知网关键词,例如离在岸人民币顺序获取各文章题目和摘要,并优先进行PDF下载,如果没有PDF就进行CAJ下载,信息保存在items列表里。下面为实现代码# -*- coding: utf-8 -*-"""Created on Sun May 12 10:28:10 2019@author: Administrator"""from selenium.webdriver.c...原创 2019-05-13 13:44:04 · 847 阅读 · 0 评论 -
网络爬虫篇——入门
准备工作1 需要掌握python的基础内容,包括常用函数的使用,字符串,列表,字典等概念都需要熟练掌握。2 电脑需安装有关爬虫的第三方库,包括:requests,lxml,selenium,openpyxl;这四个库可以直接通过pip安装。爬虫思路实现网络数据抓取,其实流程无非就这几步:发送请求<<<获取响应内容<<<解析数据内容<<<...原创 2019-05-31 16:39:03 · 1109 阅读 · 0 评论 -
网络爬虫requests+selenium总结
导入所需要的模块import timefrom selenium.webdriver.chrome.options import Optionsfrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.by impo...原创 2019-06-01 11:29:01 · 2633 阅读 · 2 评论