学习计划
Light Bob
这个作者很懒,什么都没留下…
展开
-
Scarpy 学习记录(scrapy爬取双色球,并pyinstaller打包)
一、创建窗口 import tkinter as tk root = tk.Tk() root.title('hello') #设置窗口标题 root.geometry('300x200') #设置窗口初始大小,注意中间使用x root.mainloop() 一、创建窗口 完整代码 # -*- coding: utf-8 -*- """ ------------------------------------------------- File Name: bilibiliFragme.原创 2020-12-11 21:31:47 · 387 阅读 · 0 评论 -
Scarpy 学习记录--2(scrapy结合tkinter可视化爬虫结果)
一、最终效果展示 把 https://www.bilibili.com/anime/index B站的番剧按照搜索条件爬取,并使用tkinter做出可视化界面,展示爬取结果 二、构思流程 通过tkinter做出GUI界面,可以通过界面设置查询条件 把查询条件写入临时文件保存起来 通过多进程启动scrapy 在spider文件中读取临时文件,根据条件开始爬取页面 在pipeline中把爬取的数据可持久化保存下来 爬取完毕后刷新tkinter界面,把结果显示出来 备注:本来想通过Queue把查询条件传给原创 2020-11-25 20:42:35 · 771 阅读 · 3 评论 -
Scarpy 学习记录--1
一、创建项目 在cmd窗口输入 scrapy startproject 项目名 成功后,会在对应目录下生成如下文件 二、创建爬虫 cd 项目名 进入到刚刚生成的文件夹下 scrapy genspider 爬虫名 目标网址域名 会在spiders目录下生成一个爬虫名.py文件 三、爬虫文件介绍 import scrapy class ZhSpider(scrapy.Spider): name = 'zh' allowed_domains = ['zongheng.com']原创 2020-11-10 20:57:28 · 178 阅读 · 0 评论 -
小白初识Python爬虫
突然想学习Python爬虫,看过一些视频和大牛的博客后,尝试使用requests爬取豆瓣电影,并将相关信息保存到excel中。 一、准备工作 安装requests库,用来爬取数据 安装xlsxwriter库,用来保存数据到excel 安装fiddler工具,用来抓包分析 二、抓包分析 目标网址 https://movie.douban.com/tag/#/ 豆瓣电影的分类目录 观察网页,在最下面有个加载更多,点击后,会显示出更多的电影信息,用fiddler抓取这一动作,结果如下: 点击后,发现页面没原创 2020-10-27 21:53:49 · 303 阅读 · 2 评论 -
第一个爬虫项目总结(爬取小说)
爬取小说总结 一、 准备工作 (1) requests安装 在cmd中,使用如下指令安装requests: pip install requests (2) beautifulsoup的安装 pip install beautifulsoup4 (3) lxml的安装 python3.7中lxml的安装 二、 爬取第一章 目标网站:https://www.biqukan.com/38_38836/497783246.html import requests from bs4 import Beautiful原创 2020-10-27 21:56:40 · 1873 阅读 · 0 评论 -
Python数据类型(2020.10.15~2020.10.18)
Python数据类型 一、 数字 双星号(**)表示幂 >>> 2**10 1024 #1.计算2的10次幂为1024 #2.str将1024转换成字符串,来计算位数 >>>len(str(2**10)) 4 Python有一些常用的数学模块,这些模块需要导入额外的工具包来使用 >>>import math >>>math.pi 3.141592653589793 #计算平方根 >>>math.sqrt(原创 2020-10-27 21:56:20 · 141 阅读 · 0 评论