RyuichiSakamoto-CSDN博客

原创 18718 航行 dfs

/**银河帝国正走向覆亡。为保留文明的种子，你需要驾驶飞船将一批“颛家”从帝国首都护送至银河边缘的基地。现在已知航线是一条直线，帝国首都为起点（坐标0），基地为终点（坐标L），在这条航线上有N个空间站可以补充飞船的能源。第i个空间站的坐标为ai，飞船停靠在第i个空间站必须花费bi个银河币，同时让你的飞船能量恢复为最大值M。出发前飞船的能量是满额的M，每一点能量都可以让飞船航行一个坐标单位。...

2020-04-17 16:08:44 368

原创 Python自学：Settings配置文件常见配置项

BOT_NAME：项目名称。ROBOTSTXT_OBEY：是否遵守爬虫协议。默认不遵守。CONCURRENT_ITEMS：代表pipeline同时处理的item数的最大值。默认是100CONCURRENT_REQUESTS：代表下载器并发请求的最大是，默认是16。DEFAULT_REQUEST_HEADERS：默认请求头。可以将一些不会经常变化的请求头放在这个里面。DEPTH_LIMIT...

2020-04-09 20:59:58 1284

原创 Python自学：Scrapy Shell的使用

Scrapy Shell：便于验证遍写的提取规则是否正确[主：也可导入其他包eg:from bs4 import BeautifulSoup]

2020-04-09 20:57:29 147

原创 Python自学：CrawlSpider基础

创建CrawlSpider爬虫：scrapy genspider -c crawl [爬虫名字] [域名]

2020-04-04 11:32:50 157

原创 Python自学笔记：Scrapy基础（详细）

创建项目与爬虫1.创建项目：在项目所要存放的文件夹中打开cmd,输入scrapy startproject 项目名称2.创建爬虫：进入项目所在路径后输入scrapy genspider 爬虫名字 “域名”（注：爬虫名不能与项目名相同）3.项目目录结构items.py：用来存放爬虫爬取下来数据。middlewares.py：用来存放各种中间件的文件。pipelines.py：用来...

2020-04-04 10:09:31 297

原创 Python:免费ip代理池（快代理）

创建代理池import requestsfrom lxml import etreeimport timedef get_ip(url): headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.2...

2020-03-28 09:56:18 856

原创 Python复健练习：多线程图片爬取（豆瓣）

import threadingimport timedef multi_thread(): t1 = threading.Thread(target=coding) t2 = threading.Thread(target=drawing) t1.start() t2.start()#基础模块threading.enumerate()：当前线程的数量...

2020-03-27 12:57:32 246

原创 Python复健知识点：动态网页数据爬取基础知识

[以下均为个人理解]（可能欠缺一定的严谨性）动态网页概念：页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变 eg:小饭桌[url:https://www.xfz.cn/]点击查看更多后加载了新的内容。但即使AJAX加载的数据使用了JSON将数据渲染到页面中，仍是无法通过查看网页源代码看到新加载的数据动态网页通常通过AJAX(Asynchronou...

2020-03-20 07:58:03 217

原创 Python复健知识点：显隐式等待框架

导入：from selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as EC隐式等待：等待规定秒数，完成了也继续等待driver = w...

2020-03-19 19:20:50 136

原创 C++枚举思想小案例 [魔法]

[题目非原创,侵删]题目：农夫约翰的奶牛场有很多奶牛，奶牛有黑白两种颜色。现在奶牛们排成整齐的一列去参加镇上的游行活动。约翰希望白色奶牛都排在前面，黑色的奶牛都排在后面。但现在队列中奶牛的颜色是混乱的，并且奶牛们都不愿意改变位置。幸运的是，约翰有一根魔法棒，每挥舞一次魔法棒就可以改变一头奶牛的颜色。请问，约翰至少要挥舞多少次魔法棒，才能将队列改成他希望的状态。注意，可以将所有的奶牛都变成白...

2020-03-15 15:00:10 678 4

原创 Python复健练习：爬取58同城房产月租及户型加密字体

Request URL: https://maoyan.com/任务：获取正确的信息[考虑网页渲染性能，通常网页开发者会把自定义的文体编码成base64的方式]考虑网页渲染性能，通常网页开发者会把自定义的文体编码成base64的方式[若没有使用base64则可能把字体文件放在了服务器上，然后前端通过@font-face中的url进行加载，如上图]本文讨论使用base64的常见情...

2020-03-14 15:19:46 418

qq_45988110的博客