![](https://img-blog.csdnimg.cn/202003031607475.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫——斗者
就是爬虫啊。
灵剑山真人
这个作者很懒,什么都没留下…
展开
-
第一个爬虫——斗鱼分类下的人气排行
from urllib import requestfrom io import BytesIOimport gzipimport reclass Spider(): def __init__(self): self.url='https://www.douyu.com/g_LOL' self.root_pattern='<div class="DyListCover-...原创 2020-02-29 10:34:49 · 650 阅读 · 0 评论 -
爬取的列表为空!正则表达式没错!原因是什么?
开始学爬虫要爬取一个斗鱼的主播和观看人数打开开发者工具,查看源码,发现是这样:<divclass="DyListCover-info"><spanclass="DyListCover-hot"><svgclass="DyListCover-hotIcon"><usexlink:href="#icon-hot_8a57f0b">&l...原创 2020-02-28 21:48:01 · 2273 阅读 · 0 评论 -
爬虫:UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
https://blog.csdn.net/zhang_cl_cn/article/details/94575568原创 2020-02-28 14:55:57 · 952 阅读 · 0 评论 -
Python3入门与进阶——“filter()”“time()”和装饰器。
一:filter()依次把iterable里的元素扔进function中,最后“过滤”出来的是在function里表现为“真”的元素。特性:1:function只能有一个参数。 2:最后必须得返回“可以代表真或假”的值,可以是True或False,但不限于。例子:list_x=[0,1,2,3]r=filter(lambda x: True if x...原创 2020-02-27 15:37:57 · 560 阅读 · 0 评论 -
Python3入门与进阶——"匿名函数、三元表达式、map()、reduce()"。
一:匿名函数。原创 2020-02-24 19:59:52 · 189 阅读 · 0 评论 -
Python3入门与进阶——枚举,留神关键点。
from enum import Enumclass Vip(Enum): GREEN=1 YELLOW=2 PURPLE=3print(type(GREEN))#报错print(type(Vip.GREEN))#<enum 'Vip'>print(type(Vip.GREEN.name))#<class 'str'>print(type(Vip.GREE...原创 2020-02-22 19:54:19 · 386 阅读 · 0 评论 -
课程Python3入门与进阶——“正则表达式”知识点。
re.findall(regular_expression,str)前面为正则表达式,后面为要检索的字符串。原创 2020-02-21 09:52:17 · 222 阅读 · 0 评论 -
User-Agent和Connection:keep-alive的意义。
User-Agent :简称UA ,它是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息,可以伪装为浏览器;如果不加,很可能会被识别州为爬虫例如:Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0(rv:73.0是火狐的版本)我们知...原创 2020-02-17 19:42:10 · 691 阅读 · 0 评论 -
css选择器定位节点,语法规则。
(TRANSLATED FROM BOOK)我是热爱编程的小云同学,有问题一起交流哦~~~原创 2020-02-18 17:15:57 · 131 阅读 · 0 评论 -
Content-Type和POST 提交数据方式的关系
Content-Type提交数据的方式application /x-www-forrn-urlencoded表单数据multi part/form-data表单文件上传application/json序列化JSON数据text/xmlXML数据在爬虫中,如果要构造POST 请求,需要使用正确的Co ntent-Type ,并了解各种请求库的各个参...原创 2020-02-17 20:33:26 · 183 阅读 · 0 评论 -
Cookies内涵、请求网页过程、GET和POST请求
这是因为123 06 的CA 证书是中国铁道部自行签发的,而这个证书是不被CA 机构信任的,所以这里证书验证就不会通过而提示这样的话,但是实际上它的数据传输依然是经过SSL 加密的。如果要爬取这样的站点,就需要设置忽略证书的选项,否则会提示SSL 链接错误我们在浏览器中输入一个U RL ,回车之后便会在浏览器中观察到页面内容。实际上,这个过程是浏览器向网站所在的服务器发送了一个请求,网站...原创 2020-02-17 11:44:08 · 266 阅读 · 0 评论 -
HTTP头字段大总结。
1、 Accept:告诉WEB服务器自己接受什么介质类型,/ 表示任何类型,type/* 表示该类型下的所有子类型,type/sub-type。2、 Accept-Charset: 浏览器申明自己接收的字符集 Accept-Encoding: 浏览器申明自己接收的编码方法,通常指定压缩方法,是否支持压缩,支持什么压缩方法(gzip,deflate) Accept-Language:浏览器申明自己...原创 2020-02-17 19:53:37 · 138 阅读 · 0 评论 -
HTTP响应状态码大全。(常见错误代码及原因)
原创 2020-02-17 20:46:00 · 1756 阅读 · 0 评论 -
HTTP基本原理大纲
我是热爱编程与吃喝的小云同学,有问题一起交流哦~~~~~原创 2020-02-18 09:44:21 · 90 阅读 · 0 评论 -
网页组成、css样式、网页标准形式
网页可以分为三大部分一一-HTML , CSS 和JavaScript 。如果把网页比作一个人的话, HTML 相当于骨架, JavaScript 相当于肌肉, css 相当于皮肤,‘三者结合起来才能形成一个完善的网页大括号前面是一个css 选择器。此选择器的意思是首先选中id 为head_wrapper且class 为s-ps-islite 的节点,然后再选中其内部的class 为s-p...原创 2020-02-18 11:08:29 · 998 阅读 · 1 评论 -
div id class是什么?
div概念:DIV是层叠样式表中的定位技术,全称DIVision,即为划分。有时可以称其为图层。..作用:DIV元素是用来为HTML(标准通用标记语言下的一个应用)文档内大块(block-level)的内容提供结构和背景的元素。<div> 可定义文档中的分区或节(division/section)。<div>标签可以把文档分割为独立的、不同的部分。它可以用作严格...原创 2020-02-18 17:09:55 · 1189 阅读 · 0 评论 -
爬虫index()简明用法
https://www.runoob.com/python/att-string-index.html原创 2020-02-19 11:21:20 · 892 阅读 · 0 评论