![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python,爬虫,基础知识
ElsaRememberAllBug
这个作者很懒,什么都没留下…
展开
-
python 学习基础笔记
一、 运行selenium自动化爬取内容 安装Chrome driver 需要权限 http://blog.csdn.net/u012359618/article/details/52556127 二、Scrapy框架 安装scrapy 三、Python3 默认utf-8 四、For只能用于容器 五、Lambda简化代码结构 f( lambda x:x+原创 2017-12-12 16:44:18 · 192 阅读 · 0 评论 -
python爬虫基础知识之选择器
1 选择器 ID 1.1 Class 属性选择器:可以指定值来选择 后代选择器(包含选择器) 子选择器 1.2 Xpath 使用路径表达式在xml中进行导航 1.3 Xpath和css的区别: Css更简洁 Xpath文件路径,看作目录树 XPath谓语很强大 1.4原创 2017-12-12 16:49:54 · 595 阅读 · 0 评论 -
python爬虫基础知识之requests,读取图片的两只方式,cookies,beautifulsoup
Requests 1. o 发送请求 o 传递URL参数 o 读取响应内容(文本/二进制/Json) o 定制请求头部 o Post请求 o 响应状态码 o 重定向和历史 o 超时 2. 处理二进制内容导入包 #抓取图片 from PIL import Image #处理二进制内容 from io import B原创 2017-12-12 16:53:08 · 826 阅读 · 0 评论 -
python爬虫scrapy框架基础知识
基础知识 1、爬取网页时要分析网页结构 如:https://www.cnblogs.com/#p2,p2是灵活的每一页 2、xpath支持正则表达式,可以选择两个方式,一是通过chrome选择Xpath,二是选择class原创 2017-12-14 09:43:39 · 270 阅读 · 0 评论 -
python爬虫框架scarpy之AttributeError: module 'scrapy' has no attribute 'spider'
用scrapy的spider做爬虫,发现运行有问题。 源码: import scrapy class PpdSpider(scrapy.spider): name='PpdSpider' start_url=['http://www.dailianmeng.com/p2pblacklist/index.html'] def parse(self,response):原创 2017-12-14 11:19:04 · 6450 阅读 · 1 评论