自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zhaojiafu的博客

好记性不如烂笔头,何况我记性还不好。。。。

  • 博客(11)
  • 收藏
  • 关注

原创 python爬虫之scrapy 框架学习复习整理一--最基本入门的知识点

文章目录说明:我的工作环境:学习目标几个全局命令:1、创建一个scrapy项目2、明确目标(mySpider/items.py)3、制作爬虫 (spiders/baidu.py)1、制作爬虫文件默认格式2、修改parse()方法3、使用xpath提取数据:4、管道保存数据(pipelines.py)注意点:yield返回的只能是dict或者None,5、保存到MongoDB数据库:注意点:说明:...

2019-10-09 08:11:14 849

原创 杭州垃圾分类简图:

说明:最近小区开始实行杭州垃圾分类了,说实话刚开始有点小抵触,还要多买几个垃圾桶,每次丢垃圾还得用小程序搜索,别丢错了,但是我看到一个新闻说,国家之前的垃圾都是填埋,没有分类,导致现在垃圾每个城市都是堆积如山,而且对环境污染严重,而且我感触最深的是我的老家,我老家那边,小时候我记得我家的水井,我爸爸告诉我只有十来米深,那个时候还是压水井,不是现在的水泵,那个时候十米的水井就很甜,水也很清澈,现在...

2019-10-29 10:32:25 1031

原创 python 内置模块zip和enumerate的几个巧用学习随笔

文章目录一、zip的简单介绍:二、简单使用场景介绍:1、循环一个列表(获取对应的下表和值):2、循环俩个列表(这种我代码中用的比较多):3、zip(*)解压一、zip的简单介绍:zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的对象,这样做的好处是节约了不少的内存。我们可以使用 list() 转换来输出列表。如果各个迭代器的元素个数不一...

2019-10-28 11:46:58 1215

原创 python执行系统命令的方法总结

文章目录说明:三个python执行系统命令的方法:1、os.system()2、os.popen()3、subprocess.Popen()4、如何让subprocess.Popen()和os.popen()等待5、总结:说明:python 将html保存为PDF之一个学习笔记今天转存HTML为pdf的时候,然后我使用os.system时候出现问题,后来网上搜索python有三种执行命令,结...

2019-10-24 17:26:15 1400

原创 python 将html保存为PDF之一个学习笔记

文章目录说明:一、环境配置:1、window的wkhtmltopdf下载地址==记得安装好把安装位置的bin目录放到环境变量中。==2、安装pdfkit模块:二、代码实现:方法1--wkhtmltopdf命令url :方法2--wkhtmltopdf命令html:方法3--pdfkit的from_url(url这个不报错):注意点:代码演示:方法4--pdfkit的from_file(我的虽然也能...

2019-10-24 15:39:01 1979 1

原创 request之post发送Request Payload请求解决方案

文章目录说明:1、截图看看具体大概结构:2、具体代码中使用说明:这个问题,是我今天测试一个网站(具体网站我就不写出来了,如果遇到类似的Request Payload请求参考即可。)然后各种尝试,就很纳闷了,这样的post真的第一次见呀,然后安装之前的怎么发送就失败。最后使用json序列化,作为请求体,发送post,就成功了。1、截图看看具体大概结构:具体就是这种,之前的post,我们直接...

2019-10-23 17:51:17 12345 1

原创 总结下一年半前大牛测试的购买的代理结果做下购买代理使用推荐

文章目录说明:参考的文章:说明:这个如果是大牛2018.2测试的,我今天看到已经快俩年了,不保证还是这样价格和质量,如果好的网站估计代理ip质量更好了也说不定呐:参考的文章:参考博客:...

2019-10-17 13:14:45 655

原创 python爬虫之scrapy 框架学习复习整理四--验证发送请求时携带cookies的4种有效性方法

文章目录说明:一、使用requests模块初步验证cookies的有效性:1、先分析页面结构:①、登录状态②、未登录状态③、对比结论:2、接下来我们使用requests模块测试cookies的有效性:①、测试代码:②、未登录状态③、登录状态④、结论二、使用scrapy测试携带cookie的方法1、命令生成项目和初始化爬虫:2、修改setting3、初步更改爬虫程序4、运行测试:5、start_ur...

2019-10-10 14:35:57 909

原创 python爬虫之scrapy 框架学习复习整理三--CrawlSpider(自动提取翻页)

文章目录说明:再建立一个爬虫程序:说明:这次是接着上一次的爬虫:python爬虫之scrapy 框架学习复习整理二进行补充,上一次是自己对响应的页面,进行分析,查找出下一页的地址,使用requests发送请求,解析方法还是parse函数。这次使用自动从响应页面提取出需要爬取的地址,然后接着再次爬取,直至,提取的地址都爬取完毕。再建立一个爬虫程序: scrapy genspide -t ...

2019-10-09 19:06:33 837

原创 python爬虫之scrapy 框架学习复习整理二--scrapy.Request(自己提取url再发送请求)

文章目录说明:我的配置:目标网站:今天爬虫1、创建项目+初始化爬虫文件:2、在setting中配置3、修改items.py:4、修改爬虫程序:spiders/scrapyd.py①、scrapy.Request()②、直接上我的代码:5、管道处理(一般都在这里进行数据清洗和数据储存操作):pipelines.py1、测试spider是什么:2、保存到MongoDB数据库:说明:今天主要学习一下...

2019-10-09 14:16:38 8182

原创 Linux下vim/vi 编辑器 命令总结

文章目录一、vi简介①、Vi有三种基本工作模式:1、文本输入模式2、命令行模式3、末行模式②、vim简图1、英文简图:2、中文简图二、vim基础操作1、进入插入模式命令(在命令模式下操作):2、进入命令模式(在文本模式或者末行模式下):3、移动光标(在命令模式下操作):4、删除命令(在命令模式下操作):5、撤销命令(在命令模式下操作):6、重复命令(在命令模式下操作):7、文本行移动(在命令模式下...

2019-10-08 10:23:46 437

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除