网络爬虫
文章平均质量分 51
鼠小米
一切都是最好的安排~
展开
-
seleniumv保持登录状态
seleniumv保持登录状态from selenium.webdriver import Chrome,ChromeOptions #引入selenium中的Chrome#实例化谷歌设置选项option = ChromeOptions()#添加保持登录的数据路径:安装目录一般在C:\Users\黄\AppData\Local\Google\Chrome\User Dataoption.add_argument(r'user-data-dir=C:\Users\xxxx\AppData原创 2021-07-14 23:19:06 · 1598 阅读 · 1 评论 -
selenium爬取巨潮资讯指定领域下所有上市公司的数据并存储到csv文件
selenium爬取巨潮资讯指定领域下所有上市公司的数据from selenium.webdriver import Chrome #引入selenium中的Chromefrom selenium.webdriver.common.keys import Keys #引入键盘import time #时间模块import osimport csvdata_index=1data=[1,2,3,4,5]temp_index1=1temp_index2=原创 2020-10-27 15:26:46 · 408 阅读 · 0 评论 -
selenium分类爬取谷粉专利数据
方法:利用selenium模仿人点击页面,爬取需要的数据源代码from selenium import webdriverimport osimport timepage_index1=1page_path_new=""time_temp = 10i_index=['H01','H02','H04','G06']def pang_page(page_path,i1): searchResultItems=browser.find_elements_by_xpath('//*[@.原创 2020-09-27 18:43:14 · 295 阅读 · 1 评论 -
巧用selenium爬取巨潮资讯公司数据
巧用selenium爬取巨潮资讯公司数据立项背景:在做深度学习的过程中利用python进行建模,需要数据来训练模型。项目目标:通过运用python的selenium模块,爬取巨潮资讯网站关于公司的数据并存储到csv文件。项目流程图源码from selenium.webdriver import Chrome #引入selenium中的Chromefrom selenium.webdriver.common.keys import Keys #引入键盘impor原创 2020-09-22 16:18:16 · 1398 阅读 · 1 评论 -
爬取巨潮资讯制造业公司年报数据
import requestsimport randomimport timeimport sysimport ossys.path.append('../')download_path= 'http://www.cninfo.com.cn/new/index'saving_path= 'E://2019年报sz'User_Agent= ["Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.原创 2020-09-12 21:35:52 · 2231 阅读 · 8 评论 -
断点继续下载模块
import sysimport requestsimport osimport time# 屏蔽warning信息requests.packages.urllib3.disable_warnings()headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"}原创 2020-09-12 21:33:07 · 80 阅读 · 0 评论 -
python利用selenium爬取图片信息
python利用selenium爬取图片信息项目目标:通过运用python爬虫技术,模仿人为操作,克服反爬机制,爬取想要得到的信息项目流程图taob_view.pyfrom selenium.webdriver import Chrome #引入selenium中的Chromefrom selenium.webdriver.common.keys import Keys #引入键盘import time #时间模块import requests原创 2020-06-07 20:25:33 · 1186 阅读 · 4 评论 -
基于python的招聘网站分析
基于python的招聘网站分析立项背景:通过使用招聘网站的体验,发现对现在IT市场主流人才和技术需求缺乏宏观的掌握。项目目标:通过运用python爬虫技术,爬取大型主流招聘网站关于大数据人才的需求,并通过后台分析,最终以玫瑰图,漏斗图,地图的形式展示当下市场主要需求。项目流程图51job_view.pyimport urllib.requestimport xlwt ...转载 2020-01-09 15:59:47 · 4142 阅读 · 4 评论