![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 82
yournevermore
这个作者很懒,什么都没留下…
展开
-
baeutifulsoup 中文乱码(转)
转自:https://www.cnblogs.com/mengyu/p/6759671.html在爬百度"今日热点事件排行榜"的时候发现打印在控制台的中文全部显示乱码,开始怀疑控制台的原因导致了乱码,后来输出一个中文,发现显示正常。#-*- coding:utf-8 -*-import requestsfrom bs4 import BeautifulSoupres = req...转载 2019-05-29 10:50:42 · 543 阅读 · 0 评论 -
网站爬虫 Robots.txt 文件的作用(转)
原文:https://blog.csdn.net/zhouchangshun_666/article/details/815648781)什么是Robots.txt?Robots.txt是一个文本文件,关键是这个文件所在的位置:在网站的根目录下。弄错了,就不起作用了!2)Robots.txt如何起作用?前面提到过搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都...转载 2019-06-11 22:31:47 · 1887 阅读 · 0 评论