![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 56
钚该钚想
这个作者很懒,什么都没留下…
展开
-
python:使用xpath获取想要的数据
页面返回的element是非常多的东西,有很多并不是我们所需要的,所以需要对数据进行筛选。 这里引入一个第三方模板:lxml 1.引入前需要安装,可以通过命令行:pip install lxml或者直接在编辑器搜索模板进行安装。 2.安装成功后:需要在代码顶部引入。 from lxml import etree 3.代码如下: import requests from lxm...原创 2018-08-22 16:50:04 · 1254 阅读 · 0 评论 -
python爬百度翻译demo
看了一部分python的基础,所以想着拿百度翻译来练习一下。 1.首先安装requests库,用来模拟浏览器请求。一般有两种方式: (1)通过命令安装:pip install requests (2)通过IDE安装。 刚开始是想通过第一种方式安装的,但是自己太粗心,使用了pip install requiers命令,然后........不知道装了个啥。后来发现自己装错了,...原创 2018-08-20 16:10:07 · 1681 阅读 · 0 评论 -
win系统下Scrapy安装
打开cmd,输入pip install Scrapy,提示如下错误: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools 解决办法: 1.输入pytho...原创 2018-08-23 14:21:39 · 283 阅读 · 0 评论 -
scrapy小实例
1.在安装好scrapy后,使用scrapy startproject +项目名来创建一个scrapy项目,如下图即创建成功: 2. 使用tree命令可以查看项目的目录结构: 3.进入spilder目录下,使用:scrapy genspider +文件名+网址 命令来创建一个爬虫文件: 4.可以使用命令: scrapy list :来查看列出当前项目中的所有可用爬虫...原创 2018-08-23 17:45:11 · 1542 阅读 · 0 评论 -
python将获取到的数据保存到文本
有时候我们需要将获取到的数据保存到文本中。代码如下: response = requests.post(url, data, headers=headers) con = response.content.decode() json_str = json.loads(con) with open("test.txt","w",encoding="utf-8") as f: f.wri...原创 2018-08-21 15:38:03 · 4029 阅读 · 1 评论 -
scrapy爬取数据并保存到文本
1.scrapy项目结构如下: 2.打开spidler目录下的Duba.py文件,代码如下(这个是根据豆瓣一部分页面获取的热门话题内容,有6条数据): # -*- coding: utf-8 -*- import scrapy from scrapydemo.items import ScrapydemoItem from lxml import etree class DubaSpi...原创 2018-08-24 15:38:04 · 2455 阅读 · 0 评论