爬虫
文章平均质量分 56
God_white
个人是一个计算机小白,所以从小白开始,努力进阶
展开
-
Python爬虫+PyQt 打造教务系统查成绩程序
python爬虫和PyQt的结合原创 2018-07-31 20:22:07 · 1336 阅读 · 0 评论 -
Python爬取《三国演义》并且制作词云
猫猫很可爱!原创 2017-12-26 21:48:55 · 9222 阅读 · 7 评论 -
Python 花瓣网动态爬虫
简单的的动态网页分析——花瓣网原创 2017-12-14 18:05:32 · 2219 阅读 · 0 评论 -
python自制的糗百爬虫
#coding=utf-8 import urllib2 import urllib import re import time from bs4 import BeautifulSoup def fun (): headerl = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap...原创 2017-07-20 09:50:09 · 430 阅读 · 4 评论 -
Scrapy框架中的Spider.Resquest 和 Response.follow 的区别
最近学习scrapy框架,感受到了scrapy的强大,可能自己还没有学透,感觉有时候数据保存没有那么方便,等技术成熟也许会使用更加灵活,废话不多说,进入今天的主题。 首先,为什么要使用Resquest和Response.follow 按照我的理解,使用scrapy框架和之前脚本爬虫最大的区别是,scrapy框架中你只需要写出爬虫的几个部分任务,整体的爬虫引擎已经实现,并且scrapy实现的...原创 2018-08-02 20:51:59 · 5383 阅读 · 0 评论 -
Scrapy爬虫——壁纸爬虫
说在前面: 今天把之前写过的壁纸爬虫拿出来用了一下,发现是很久以前写过的,用的还是python基本库urllib去做网络请求的,正好最近在学scrapy,于是就用scrapy框架重新写了一遍。 环境要求: python:3.6 Scrapy:1.51 正式开始: 感谢壁纸来源Wallhaven 网页分析 通过分析可以得知,只需要给https://alpha.wa...原创 2018-08-08 16:10:30 · 1066 阅读 · 0 评论