爬虫
SuperBetterMan
正在成为一名High Level的程序猿
展开
-
记录一下网络爬虫实战scrapy---某蜜蜂网站
最近在一个横向课题,其中需要做一个QA,由于没有数据,所以我们需要通过爬虫去获取设计好schema,我们来看需要的数据。原创 2022-10-11 21:41:42 · 301 阅读 · 0 评论 -
基于爬虫刷新某网站访问量
前言:前一段时间看到有博友写了爬虫去刷新博客访问量一篇文章,当时还觉得蛮有意思的,就保存了一下,但是当我昨天准备复现的时候居然发现文章404了。所以本篇文章仅供学习交流,严禁用于商业用途当我在写文章的同时,代码依然在运行,亲测是有效滴。你很容易会发现你写的那些水文章的url都有一个共同特点,前面都是固定的,就是后面一串数字不一样,这串数字是利用某种算法生成,因为我不会,这里我不展开讲了。我只需要把后面的数字拿过来就好了。https://blog.csdn.net/SuperBetterMan/.原创 2020-08-21 12:03:12 · 814 阅读 · 0 评论 -
基于scrapy爬取的百度贴吧并进行数据分析
问题分析:我们要获取某贴吧的帖子标题和主贴内容,并进行简单的数据分析首先我们需要在命令行中建立一个scrapy工程,对于scrapy这个框架我们只需要把需要的数据添加进去,简单方便。class ZibizhengItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Fiel...原创 2019-10-13 10:42:59 · 797 阅读 · 1 评论 -
基于爬虫的快递信息查询的图形用户界面
基于爬虫的快递信息查询的GUI#第一次写博客,哎呀,我都想象到以后工作的日子了。颤抖的心,激动的手。#话不多说,先上代码import tkinter as tkimport requestsimport json#from PIL import ImageTk as itkclass MyFrame(Frame): def __init__(self): se...原创 2019-09-07 19:07:34 · 466 阅读 · 0 评论