![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 63
Pianist Of Keyboard
这个作者很懒,什么都没留下…
展开
-
爬某度搜索结果的数量
背景 有一个爬某度搜索结果数量的任务,打算用多线程+代理池做。没怎么写过用代理的爬虫,所以打算通过这个任务加深对代理的理解 代码 先上代码: import requests import threading from math import ceil import pandas as pd from pathlib import Path from tqdm import tqdm import re import time import random import socket import urlli原创 2022-03-27 12:22:23 · 1146 阅读 · 0 评论 -
Web Scraper入门
简介 Web Scraper是一款浏览器插件,用在简单的数据爬取上,一定程度上可以代替selenium,减少代码编写。 官方文档 安装 从谷歌商店或火狐商店进行下载。下载完成后重启浏览器,按F12即可打开Web Scraper。 界面 第一次点开Web Scraper,可点击的是Sitemaps和Create new sitemap,前者是罗列目前你写好的sitemap,后者则是创建或导入sitemap。(sitemap相当于设定好的爬取逻辑) 点击Create new sitemap,填入你想爬取的网原创 2022-03-02 20:08:59 · 7417 阅读 · 2 评论 -
自动下载与当前chrome浏览器兼容的chromedriver
chrome时常更新,之后chromedriver要手动下载很麻烦。想用webdriver_manager,但是老报错Current google-chrome version is UNKNOWN,所以只能自己写代码下载了 import requests import winreg import zipfile from selenium import webdriver import os url = 'https://registry.npmmirror.com/-/binary/chromedr原创 2022-02-27 21:09:11 · 1909 阅读 · 6 评论