- 博客(6)
- 收藏
- 关注
RSS订阅原创 Scarpy 学习记录（scrapy爬取双色球，并pyinstaller打包）
一、创建窗口import tkinter as tkroot = tk.Tk()root.title('hello') #设置窗口标题root.geometry('300x200') #设置窗口初始大小，注意中间使用xroot.mainloop()一、创建窗口完整代码# -*- coding: utf-8 -*-"""------------------------------------------------- File Name： bilibiliFragme.
2020-12-11 21:31:47
385
原创 Scarpy 学习记录--2（scrapy结合tkinter可视化爬虫结果）
一、最终效果展示把 https://www.bilibili.com/anime/index B站的番剧按照搜索条件爬取，并使用tkinter做出可视化界面，展示爬取结果二、构思流程通过tkinter做出GUI界面，可以通过界面设置查询条件把查询条件写入临时文件保存起来通过多进程启动scrapy在spider文件中读取临时文件，根据条件开始爬取页面在pipeline中把爬取的数据可持久化保存下来爬取完毕后刷新tkinter界面，把结果显示出来备注：本来想通过Queue把查询条件传给
2020-11-25 20:42:35
766
3
原创 Scarpy 学习记录--1
一、创建项目在cmd窗口输入scrapy startproject 项目名成功后，会在对应目录下生成如下文件二、创建爬虫cd 项目名 进入到刚刚生成的文件夹下scrapy genspider 爬虫名 目标网址域名会在spiders目录下生成一个爬虫名.py文件三、爬虫文件介绍import scrapyclass ZhSpider(scrapy.Spider): name = 'zh' allowed_domains = ['zongheng.com']
2020-11-10 20:57:28
178
原创 第一个爬虫项目总结（爬取小说）
爬取小说总结一、 准备工作(1) requests安装在cmd中，使用如下指令安装requests：pip install requests(2) beautifulsoup的安装pip install beautifulsoup4(3) lxml的安装python3.7中lxml的安装二、 爬取第一章目标网站：https://www.biqukan.com/38_38836/497783246.htmlimport requestsfrom bs4 import Beautiful
2020-10-27 21:56:40
1866
原创 Python数据类型(2020.10.15~2020.10.18)
Python数据类型一、 数字双星号(**)表示幂>>> 2**101024 #1.计算2的10次幂为1024 #2.str将1024转换成字符串，来计算位数>>>len(str(2**10)) 4 Python有一些常用的数学模块，这些模块需要导入额外的工具包来使用>>>import math>>>math.pi3.141592653589793#计算平方根>>>math.sqrt(
2020-10-27 21:56:20
141
原创 小白初识Python爬虫
突然想学习Python爬虫，看过一些视频和大牛的博客后，尝试使用requests爬取豆瓣电影，并将相关信息保存到excel中。一、准备工作安装requests库，用来爬取数据安装xlsxwriter库，用来保存数据到excel安装fiddler工具，用来抓包分析二、抓包分析目标网址 https://movie.douban.com/tag/#/ 豆瓣电影的分类目录观察网页，在最下面有个加载更多，点击后，会显示出更多的电影信息，用fiddler抓取这一动作，结果如下：点击后，发现页面没
2020-10-27 21:53:49
302
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人