爬虫
AdleyTales
这个作者很懒,什么都没留下…
展开
-
快速抓取数据的方式,curl, uncurl, requests 好的!
第一步:Chrome的接口右键,copy curl的脚本 第二步:拷贝到shell下,执行,可以正常请求数据回来 第三步: 安装uncurl pip3 install uncurl 第四步:上面的命令用uncurl包裹一下 uncurl " …curl shell … " 第五步:安装requests,直接用python运行即可 ...原创 2021-01-01 12:11:27 · 566 阅读 · 0 评论 -
mac 下使用 selenium包的时候 报错 Message: 'chromedriver' executable needs to be in PATH.
from selenium import webdriver browser = webdriver.Chrome() browser.get("https://www.baidu.com/") print(browser.page_source) browser.close() 报错: os.path.basename(self.path), self.start_error_messa...原创 2018-12-21 22:37:32 · 2616 阅读 · 0 评论 -
nodejs 爬虫
const request = require('request') const cheerio = require('cheerio') const MongoClient = require('mongodb').MongoClient; const url = 'mongodb://localhost:27017'; MongoClient.connect(url, function(...原创 2018-12-22 21:25:38 · 1827 阅读 · 0 评论 -
python3中requests 常用response
import requests res = requests.get("http://127.0.0.1:9092") print(res.status_code) # 200 print(res.url) # http://127.0.0.1:9092/ print(res.headers) # {'Content-Type': 'application/json; charset=utf-...原创 2018-12-22 21:41:32 · 5097 阅读 · 0 评论