爬虫
AdleyTales
这个作者很懒,什么都没留下…
展开
-
快速抓取数据的方式,curl, uncurl, requests 好的!
第一步:Chrome的接口右键,copy curl的脚本第二步:拷贝到shell下,执行,可以正常请求数据回来第三步: 安装uncurlpip3 install uncurl第四步:上面的命令用uncurl包裹一下 uncurl " …curl shell … "第五步:安装requests,直接用python运行即可...原创 2021-01-01 12:11:27 · 581 阅读 · 0 评论 -
mac 下使用 selenium包的时候 报错 Message: 'chromedriver' executable needs to be in PATH.
from selenium import webdriverbrowser = webdriver.Chrome()browser.get("https://www.baidu.com/")print(browser.page_source)browser.close()报错:os.path.basename(self.path), self.start_error_messa...原创 2018-12-21 22:37:32 · 2622 阅读 · 0 评论 -
nodejs 爬虫
const request = require('request')const cheerio = require('cheerio')const MongoClient = require('mongodb').MongoClient;const url = 'mongodb://localhost:27017';MongoClient.connect(url, function(...原创 2018-12-22 21:25:38 · 1840 阅读 · 0 评论 -
python3中requests 常用response
import requestsres = requests.get("http://127.0.0.1:9092")print(res.status_code) # 200print(res.url) # http://127.0.0.1:9092/print(res.headers) # {'Content-Type': 'application/json; charset=utf-...原创 2018-12-22 21:41:32 · 5108 阅读 · 0 评论