爬虫
文章平均质量分 82
yournevermore
这个作者很懒,什么都没留下…
展开
-
baeutifulsoup 中文乱码(转)
转自:https://www.cnblogs.com/mengyu/p/6759671.html 在爬百度"今日热点事件排行榜"的时候发现打印在控制台的中文全部显示乱码,开始怀疑控制台的原因导致了乱码,后来输出一个中文,发现显示正常。 #-*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup res = req...转载 2019-05-29 10:50:42 · 556 阅读 · 0 评论 -
网站爬虫 Robots.txt 文件的作用(转)
原文:https://blog.csdn.net/zhouchangshun_666/article/details/81564878 1)什么是Robots.txt? Robots.txt是一个文本文件,关键是这个文件所在的位置:在网站的根目录下。弄错了,就不起作用了! 2)Robots.txt如何起作用? 前面提到过搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都...转载 2019-06-11 22:31:47 · 1902 阅读 · 0 评论