爬虫
菜鸟上路_lbz
初探编程世界,希望满载而归
展开
-
爬虫:爬取微软必应翻译做成API
利用爬虫爬取页面,结合fastapi做成一个简易api接口返回样式-------return----------------------------{'msg': '请求成功','word': 'python','Pronunciation': [ { 'symbolUs': "美['paɪθɑn]", 'pronun':'https://dictionary.blob.core.chinacloudapi.cn/media/audio/tom/b8/b5/B8B5CCB3D29DD27原创 2020-08-26 23:28:52 · 1497 阅读 · 0 评论 -
Python爬虫练习:汽车之家图片爬虫
import requestsfrom lxml import etreeimport re,time,osclass carDownload: def __init__(self): self.header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}原创 2020-05-22 00:29:58 · 1423 阅读 · 2 评论 -
初识scrapy框架
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。1安装框架pip3 install scrapy基于anconda下,不妨新建一个环境,取名为spider专门用于爬虫环境conda create -n spider python=3.6激活进入环境...原创 2020-02-13 19:18:06 · 212 阅读 · 0 评论 -
python 爬取笔趣阁小说(TK可视化)
import requestsfrom lxml import etreefrom pyquery import PyQuery as pq import reimport timefrom datetime import datetimefrom tkinter import *import threadingfrom tkinter import messagebox#获...原创 2019-08-03 16:28:48 · 1274 阅读 · 0 评论 -
初级爬虫爬取笔趣阁小说
import requestsfrom pyquery import PyQuery as pq def get_content(a): response=requests.get(a) response.encoding = 'gbk' doc = pq(response.text) text=doc('#content.showtxt') bo...原创 2019-07-29 19:58:59 · 632 阅读 · 0 评论