- 博客(11)
- 收藏
- 关注
RSS订阅
原创 python爬虫之scrapy 框架学习复习整理一--最基本入门的知识点
文章目录说明：我的工作环境：学习目标几个全局命令：1、创建一个scrapy项目2、明确目标(mySpider/items.py)3、制作爬虫 （spiders/baidu.py）1、制作爬虫文件默认格式2、修改parse()方法3、使用xpath提取数据：4、管道保存数据（pipelines.py）注意点：yield返回的只能是dict或者None，5、保存到MongoDB数据库：注意点：说明：...
2019-10-09 08:11:14
849
原创 杭州垃圾分类简图：
说明：最近小区开始实行杭州垃圾分类了，说实话刚开始有点小抵触，还要多买几个垃圾桶，每次丢垃圾还得用小程序搜索，别丢错了，但是我看到一个新闻说，国家之前的垃圾都是填埋，没有分类，导致现在垃圾每个城市都是堆积如山，而且对环境污染严重，而且我感触最深的是我的老家，我老家那边，小时候我记得我家的水井，我爸爸告诉我只有十来米深，那个时候还是压水井，不是现在的水泵，那个时候十米的水井就很甜，水也很清澈，现在...
2019-10-29 10:32:25
1031
原创 python 内置模块zip和enumerate的几个巧用学习随笔
文章目录一、zip的简单介绍：二、简单使用场景介绍：1、循环一个列表（获取对应的下表和值）：2、循环俩个列表（这种我代码中用的比较多）：3、zip（*）解压一、zip的简单介绍：zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的对象，这样做的好处是节约了不少的内存。我们可以使用 list() 转换来输出列表。如果各个迭代器的元素个数不一...
2019-10-28 11:46:58
1215
原创 python执行系统命令的方法总结
文章目录说明：三个python执行系统命令的方法：1、os.system()2、os.popen()3、subprocess.Popen()4、如何让subprocess.Popen()和os.popen()等待5、总结：说明：python 将html保存为PDF之一个学习笔记今天转存HTML为pdf的时候，然后我使用os.system时候出现问题，后来网上搜索python有三种执行命令，结...
2019-10-24 17:26:15
1400
原创 python 将html保存为PDF之一个学习笔记
文章目录说明：一、环境配置：1、window的wkhtmltopdf下载地址==记得安装好把安装位置的bin目录放到环境变量中。==2、安装pdfkit模块：二、代码实现：方法1--wkhtmltopdf命令url ：方法2--wkhtmltopdf命令html：方法3--pdfkit的from_url（url这个不报错）：注意点：代码演示：方法4--pdfkit的from_file（我的虽然也能...
2019-10-24 15:39:01
1979
1
原创 request之post发送Request Payload请求解决方案
文章目录说明：1、截图看看具体大概结构：2、具体代码中使用说明：这个问题，是我今天测试一个网站（具体网站我就不写出来了，如果遇到类似的Request Payload请求参考即可。）然后各种尝试，就很纳闷了，这样的post真的第一次见呀，然后安装之前的怎么发送就失败。最后使用json序列化，作为请求体，发送post，就成功了。1、截图看看具体大概结构：具体就是这种，之前的post，我们直接...
2019-10-23 17:51:17
12345
1
原创 总结下一年半前大牛测试的购买的代理结果做下购买代理使用推荐
文章目录说明：参考的文章：说明：这个如果是大牛2018.2测试的，我今天看到已经快俩年了，不保证还是这样价格和质量，如果好的网站估计代理ip质量更好了也说不定呐：参考的文章：参考博客：...
2019-10-17 13:14:45
655
原创 python爬虫之scrapy 框架学习复习整理四--验证发送请求时携带cookies的4种有效性方法
文章目录说明：一、使用requests模块初步验证cookies的有效性：1、先分析页面结构：①、登录状态②、未登录状态③、对比结论：2、接下来我们使用requests模块测试cookies的有效性：①、测试代码：②、未登录状态③、登录状态④、结论二、使用scrapy测试携带cookie的方法1、命令生成项目和初始化爬虫：2、修改setting3、初步更改爬虫程序4、运行测试：5、start_ur...
2019-10-10 14:35:57
909
原创 python爬虫之scrapy 框架学习复习整理三--CrawlSpider（自动提取翻页）
文章目录说明：再建立一个爬虫程序：说明：这次是接着上一次的爬虫：python爬虫之scrapy 框架学习复习整理二进行补充，上一次是自己对响应的页面，进行分析，查找出下一页的地址，使用requests发送请求，解析方法还是parse函数。这次使用自动从响应页面提取出需要爬取的地址，然后接着再次爬取，直至，提取的地址都爬取完毕。再建立一个爬虫程序： scrapy genspide -t ...
2019-10-09 19:06:33
837
原创 python爬虫之scrapy 框架学习复习整理二--scrapy.Request（自己提取url再发送请求）
文章目录说明：我的配置：目标网站：今天爬虫1、创建项目+初始化爬虫文件：2、在setting中配置3、修改items.py：4、修改爬虫程序：spiders/scrapyd.py①、scrapy.Request()②、直接上我的代码：5、管道处理（一般都在这里进行数据清洗和数据储存操作）：pipelines.py1、测试spider是什么：2、保存到MongoDB数据库：说明：今天主要学习一下...
2019-10-09 14:16:38
8182
原创 Linux下vim/vi 编辑器 命令总结
文章目录一、vi简介①、Vi有三种基本工作模式：1、文本输入模式2、命令行模式3、末行模式②、vim简图1、英文简图：2、中文简图二、vim基础操作1、进入插入模式命令（在命令模式下操作）:2、进入命令模式（在文本模式或者末行模式下）:3、移动光标（在命令模式下操作）:4、删除命令（在命令模式下操作）:5、撤销命令（在命令模式下操作）:6、重复命令（在命令模式下操作）:7、文本行移动（在命令模式下...
2019-10-08 10:23:46
437
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人