爬虫
爬虫
单手提煤气罐
这个作者很懒,什么都没留下…
展开
-
Python爬取百度疫情数据并预测未来七天及其可视化
本文采用爬虫、AR模型以及pyrcharts技术,实现从百度上取疫情数据,并将数据用于训练模型,最后将模型的预测结果可视化展示,代码如下from random import randomimport pandas as pdimport requestsimport numpy as npimport pyecharts.options as optsfrom pyecharts.globals import ThemeTypefrom pyecharts.commons.utils impo原创 2021-12-14 11:42:37 · 4042 阅读 · 4 评论 -
XPath常用规则
XPath,全称是XML Path Language,即XML路径语言,是一门在XML文档中查找信息的语言。最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索,所以完全可以使用XPath来做相应的信息抽取。表达式描述nodename选取此节点的所有子节点/从当前节点选取直接子节点//从当前节点选取子孙节点.选取当前节点…选取当前节点的父节点@选取属性文本获取我们可以使用XPath中的text()方法获取节点中的文本,用法如下原创 2021-07-14 08:45:37 · 1159 阅读 · 0 评论 -
常见状态码以及错误原因
状态码说明详情100继续请求者应当继续提出请求。服务器已收到请求的一部分,正在等待其余部分101切换协议请求者已要求服务器切换协议,服务器已确定并准备切换200成功服务器已成功处理了请求201已创建请求成功并且服务器创建了新的资源202已接受服务器已接受请求,但尚未处理203非授权信息服务器已成功处理了请求,但返回的信息可能来自另一个源204无内容服务器成功处理了请求,但没有返回任何内容205重置内容服务器成功处...原创 2021-07-13 17:30:48 · 146 阅读 · 0 评论 -
爬虫之PyChram创建Scrapy项目
文章目录前言一、创建项目1.切换到项目目录2.创建项目3.目录结构介绍二、修改配置1.修改项目中的settings.py文件前言利用PyChram创建一个爬虫项目提示:以下是本篇文章正文内容,下面案例可供参考一、创建项目1.切换到项目目录如图,我想在F盘下的PyCharm\Subject\Python\cn\zut\edu目录下创建一个爬虫项目2.创建项目“pachong”是我的项目名3.目录结构介绍items.py:用来存放爬虫爬取下来数据的模型middlewares..原创 2021-03-29 20:23:44 · 266 阅读 · 0 评论 -
爬虫之Scrapy框架的下载
文章目录前言一、安装Scrapy1.更新pip安装器2.安装wheel依赖包3.安装lxml4.下载pyOpenSSL并安装5.下载Twisted6.下载安装Pywin327.安装Scrapy8.检查总结前言写一个爬虫,需要做很多的事情。比如:发送网络请求、数据解析、数据存储、反反爬虫机制(更换ip代理、设置请求头等)、异步请求等。这些工作如果每次都要自己从零开始写的话,比较浪费时间。因此 Scrapy 把一些基础的东西封装好了,在他上面写爬虫可以变的更加的高效(爬取效率和开发效率)。因此真正在公..原创 2021-03-29 19:55:25 · 755 阅读 · 0 评论