唯念欢-CSDN博客

原创 python基础知识[仅用于记录某些我不是常用的或者容易忘记的内容,不是系统的,更新遇到的新知识]

列表的删除 list.pop() 默认是第0位,如果括号内有数字,则寻找下标删除。删除 dict.pop(指定的key)/dict.clear() 全部删除。获取所有的键/值 dict.keys()/values()数据类型:数字,字符串,列表,字典,元组,集合,布尔类型,None。str.replace(原来的字符, 新的字符, 次数)列表的深浅拷贝lst = [a, b, [c, d]]浅拷贝时子列表说同一个列表,未开辟新的内存。

2023-08-02 15:21:35 87

原创 python的字符串解编码及运算符

ord() ---> 将一个字符变成对应的unicode编码[数字]chr() ---> 将一个数字变成对应的字符串编码[字符串]

2023-07-31 17:24:46 105

原创集合的基本使用【后续补充】

6）删除元素：a.remove(element) --- element存在就删除，不存在报异常。随机删除【默认第0个】a.pop()2.固定集合，可hash化【位置不可变】--- frozenset函数。5）添加元素 --- a.add()1）差集 --- a - b。2）交集 --- a & b。3）并集 --- a | b。4）补集 --- a ^ b。7）清空：a.clear()3.集合的使用【a，b集合】

2023-07-30 13:46:58 72

原创爬虫问题合集-01

1.爬虫遇到 \u3000 【中文的全角空格】，scrapy框架获得的小说数据是列表形式，这个时候可以用循环输出的方式去掉 \u3000。3.使用链接提取器，获得Link内容的ur属性值l或者其他属性值。response.url -- url属性【其他属性类似】2.txt文件的写入时自动换行。

2023-07-17 15:50:08 471

原创爬虫_023_保存爬虫数据到xls

high是我在爬虫文件中加的变量，用来缓存数据的多少【即lxsl中的行数】2.创建表单workbook，并指定编码格式。案例：将当当网的数据保存至xls。3.添加表单并指定表单名字。添加表单并指定表单名字。

2023-07-14 23:36:40 528

原创爬虫_022_scrapy_日志文件

为了避免检查不到报错，一般不动日志等级，而是加一个日志文件。这时终端会简洁，会生成一个日志文件在spiders文件夹下。改变日志级别是在settings中加。

2023-07-14 18:50:36 65

原创爬虫_021_scrapy_访问第二链接

【图片来源于网络，如果侵权请联系我删除】将当前页面所有符合我们要求的链接提取出来。基本操作与之前类似，在这里不过多叙述。链接提取器【crawlspider】爬取读书网【多页面爬取】直接上代码【电影天堂】pipelines文件。\d+ 表示多为数字。

2023-07-14 17:48:19 563

原创爬虫_020_scrapy_管道

4.在管道中定义两个函数【open_spider(self, spide)、close_spider(self, spider)】管道有非常多，这个300就是管道的值，管道的使用是有优先级的，范围是1-1000，值越小，管道的优先级就越高。2.在爬虫文件中获取数据并将其通过yield方法交给管道【pipelines】3.开启管道【settings中取消ITEM_PIPELINES 的注释】要想使用管道【pipelines文件】就必须在settings文件中开启管道。1.在items文件中定义结构数据。

2023-07-12 13:59:25 504 1

原创爬虫_019_scrapy_scrapyshell

2.在根目录含有scrapy的文件夹下的终端运行 scrapy shell url【这个url是自己想访问的url】scrapy shell是一个scrapy终端，免去了在每次修改代码后运行spider文件的麻烦。3.在运行了第二步后，可以直接在终端中使用response。

2023-07-12 10:22:02 48 1

原创爬虫_018_scrapy

3.在创建好的文件中，name是爬虫的名字，用于运行爬虫的时候使用的值；转到spiders后【在终端输入 scrapy genspider 爬虫文件名字要爬取的网页的url】，注意网页的url不需要添加http://，创建文件系统会自动添加。运行之后会遇到‘君子协议’【在域名后有robots.txt】 --- 注释第二级的项目名称下的settings中的ROBOTSTXT_OBEY。items.py 定义数据结构的地方【爬取的数据都包含哪些】结构性数据：网页源码中，具有类似的相似的结构形的数据。

2023-07-12 09:56:38 493 1

原创爬虫_017_requests库_cookie登录【绕过验证码】

2.在login文件中拿到url，有些网站可能不需要登录就可以获取反应的数据，有些则需要登录，找到payload里的数据，观察哪几个是变量，一般除了邮箱密码和登录之外都是变量。3.爬取网页源码，使用xpath【etree.HTML】方法来定位需要获取的元素，获取需要的值，这种情况下一般变量都会带有hidden属性。4.在 3 中我们会获取到验证码的图片地址，这个时候我们需要将图片下载到本地【urllib.request.5.下载ddddocr【一个开源免费的识别验证码的包，准确率并非100%】

2023-07-10 17:35:32 178 1

原创爬虫_016_requests库

r.get(url, params, kwargs)【url：地址；2. r.encoding属性【设置编码格式来处理返回数据中的中文乱码】5. r.status_code属性【返回状态码】4. r.content属性【返回二进制数据】1. r.text属性【有中文会返回乱码】3. r.url属性【返回我们请求的url】r.status_code：响应的状态码。6. r.headers【返回响应头】r.content：响应的字节类型。r.headers：响应的头信息。r.url：获取请求的url。

2023-07-09 12:54:49 1574 1

原创爬虫_015_selenium

3.find方法的xpath 根据xpath路径获取对象【写xpath路径--定位百度一下】3.获取元素文本【获取的并非标签里的value值，而是显示在 >< 中间的文本】4.tag_name方法根据标签名获取对象【标签名--定位文本输入框】5.find方法的css方法--根据bs4的语法实现【定位百度一下】1.获取元素属性【获取input标签的class值】2.根据标签属性的属性值找对象【定位文本输入框】selenium可以驱动真实的浏览器进行执行json代码。selenium的元素定位。

2023-07-09 10:03:42 90 1

原创爬虫_014_解析_bs4【BeautifulSoup】的使用

BeautifulSoup和 lxml 一样都是html的解析器，效率相比于xpath来说较低。如果要根据class的值来找标签，需要在class后加下划线。BeautifulSoup默认打开的编码是gbk。（3）select【使用较多】1.导入本地html文件。2.根据标签来找节点。

2023-07-08 20:53:48 29

原创爬虫_013_解析【xpath、jsonpath】

2.xpath的使用【解析本地文件、直接解析服务器响应的数据--response.read().decode('utf-8')】服务器响应数据用的最多。点击code--download zip--解压缩--打开chorme--扩展程序--直接将已经压缩的文件夹拖进去，ctrl+shift+x使用。/2/ 谓词查询 //div[@id] 【div是标签名字，类似于/1/中的ul和li之类的路径关系，@id是div中的标签中所含的属性】/1/ 路径查询：// 所有节点，不考虑层级关系。/1/ 获取百度的源码。

2023-07-08 08:58:20 506

原创爬虫_012_代理IP

ProxyHandler里有一个proxies参数，这个参数是你的代理ip，需要以字典形式存储。win+r--输入cmd--输入ipconfig--查看ipv4数字。二、使用代理--将上一篇的HTTpHandler换成ProxyHandler【详情见。一、如何查询当前ip？

2023-07-06 14:44:22 1125 1

原创爬虫_011_cookie登录&handler处理器

在需要进入个人信息页面时，服务器会跳转到登录页面，登录页面的编码不是utf-8，个人信息页面是utf-8，故在爬取个人信息页面的数据时，会报错编码错误，此时我们就需要cookie登录了。【在请求头中最好留下refere】二、handler处理器【更高级的请求头】-- 处理动态cookie和代理ip不能进行请求定制。refere是防盗链，判断当前页面是不是由上一个路径跳转。2.通过handler对象获取opener对象。1.获得handler对象。3.调用open方法。4.获取百度首页源码。

2023-07-06 14:04:05 630 1

原创爬虫_010_ajax请求

需要改变的只是将data数据进行编码，然后将url、编码后的data和headers通过Request方法一起提交给服务器。因为爬取kfc官网需要我们提交查询的店面地址，所以是属于post的提交数据给服务器进行处理。仔细观察应该是start变化了，所以我们根据start变化规律来即可【start=(page-1)*20】因为这里用的方法在之前已经提到过，所以就不多做赘述。1.找到豆瓣电影的页面规律。二、post请求【kfc官网】一、get请求【豆瓣】

2023-07-06 11:01:48 442 1

原创爬虫_09_post请求【百度翻译】

而post请求的url的参数并不能直接进行拼接，而是放在data中进行发送，无字数限制，直观的url地址中不会显示post请求的参数。在详细翻译中会遇到反爬手段，这是因为请求头中的数据没有给全，这时候需要将请求头的数据贴给headers【但是其中某些数据是一定要注释的’Accept-Encoding: gzip, deflate, br‘】在对百度翻译进行post请求时需要找到自己需要的数据，【F12--network--sug--preview；替换：'$1':'$2',json.loads方法。

2023-07-05 22:59:07 1632

原创爬虫_08_get方法与post方法【自我感悟】

在写爬虫时学到了get方法和post方法，但是我经常搞不懂get方法和post方法的区别，在我去网上看了许多blog以及ae上的解释，自我感觉似乎是有了一点浅薄的理解。【我并没有学习前端知识，所以我无法用http这些协议来解析get方法和post方法的区别，只能以我自己能够理解的话讲出来，以下纯属个人理解，如有不对欢迎各位大佬提出！get方法是对服务器发送一个请求，获取服务器上的数据，也就是对内容进行检索，这个时候我们就需要通过get方法模拟浏览器向服务器发送请求，来获取这个网页上的数据。

2023-07-05 21:51:23 466

原创爬虫_07_get请求的方法【编解码】

在爬取第一遍时非常顺利的就将原码爬取下来了，但是第二遍就遭到了百度的反爬，我猜想大概是cookie没有写进headers中吧，在以后学习到这个部分我再回过来将这个代码完善一下。一、get请求的quote方法【使用urllib.parse库】---> 一般解决单个参数。二、get请求的urlencode方法【urllib.parse库】 ---> 一般解决多个参数。quote：将汉字转化为unicode编码。1.导入urllib.parse库。2.将汉字转化为unicode编码。三、爬取李白简介源码。

2023-07-05 21:11:50 1095

m0_74354274的博客