![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
箬笔流年
想到做到
展开
-
基础爬虫学习(三)美女校花网爬虫
导入所需模块设置头部及文件信息请求获取网址信息使用xpath解析方法解析请求到的网址获取信息遍历每个信息,使用xpath提取到图片地址及相关信息根据图片地址下载图片将图片及信息存储存储到本地最后点击执行,执行结果如下...原创 2020-06-03 16:40:30 · 393 阅读 · 0 评论 -
基础爬虫学习(二)王者荣耀皮肤的获取
导入requests模块设置头部文件以及需要请求的信息请求获取并读取json文件在所读取的json文件中提取所需内容:英雄的编号、名称、皮肤列表及数量打印英雄名称及皮肤的数量用网址拼接构成新网址遍历每一个图片的网址最终的结果储存在pic的文件夹中最后点击开始执行,执行结果如下。当然,我们还可以对这些数据进行统计分析导入绘图模块创建x/y列表保存信息设置显示文件格式为“黑体”设置xy坐标显示,并修改文字大小以.原创 2020-06-03 16:38:22 · 230 阅读 · 0 评论 -
基础爬虫学习 (一)简单介绍
爬虫的操作流程无非就是:发起请求 -- 获取响应内容 --解析内容 --保存数据通过HTTP库向目标站点发起请求,即发送一个Request,请求里面可以包含自己指定的headers、data、盐值等信息,然后等待服务器响应。有很多网站为了防止爬虫程序爬网站造成网站瘫痪,所以我们的程序在模拟浏览器访问这些网站时,需要携带一些headers头部信息才能访问,最常见的有User-Agent、referer、cookie参数。Headers头部信息可在浏览器中获取,这个过程其实就相当于程序作为一..原创 2020-06-03 16:33:45 · 166 阅读 · 0 评论 -
PYTHON多进程编写--multiprocessing.Pool
如果你打算编写多进程的服务程序,Unix/Linux无疑是正确的选择。由于Windows没有fork调用,难道在Windows上无法用Python编写多进程的程序?由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。multiprocessing模块提供了一个Process类来代表一个进程对象,这个模块表示像线程一样管理进...原创 2019-01-30 17:58:07 · 205 阅读 · 0 评论 -
Python列表的查找功能
Python中是有查找功能的,四种方式:in、not in、count、index;下面以 List = ["L","rong","wu","forever"] 为例(1)in字符 :判断值是否在列表中(2)not in字符 :判断值是否不再列表中(3)count字符 :统计指定值在列表中出现的次数(4)index字符 :查看指定值在列表中出现的次数...原创 2019-01-30 18:17:45 · 14753 阅读 · 2 评论