![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
吃不胖的朱
这个作者很懒,什么都没留下…
展开
-
从0开始学python网络爬虫----------2
从0开始学python网络爬虫----------2爬虫三大库上一篇博客对库有了初步概念,接下来将对爬虫三大库深入了解库的下载与使用库的下载下载第三方库一般可以直接在命令提示符中输入pip install packagename其中packagename为要下载的库名。安装完成后会有提示:Successfully installed packagename库的使用下载好库以后,我们就可以调用库格式为:import packagenameRequests库requests库的原创 2020-08-10 16:18:11 · 171 阅读 · 0 评论 -
古诗爬取
IP代理爬取直接代码import reimport requestsimport time# url = 'https://www.gushiwen.org/default_1.aspx'def parse_page(url): headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4原创 2020-08-09 17:31:27 · 167 阅读 · 0 评论 -
从0开始学python网络爬虫----------1
从0开始学爬虫~~~~~1编译器IDLE语言python1.爬虫原理网络连接网络连接就像自动售货机一样,用户选择商品(输入网址),投入硬币(发送请求到服务器),售货机弹出相应商品(服务器返回请求)对于学习爬虫技术,只需要知道基本的网络连接原理即可爬虫原理了解了网络连接原理可以帮助我们更好的理解爬虫原理。网络连接需要计算机一次Requests请求和服务器端一次Response回应(1)模拟计算机对服务器发送请求(2)接受服务器端返回的数据,解析,提取我们所需要的数原创 2020-08-09 14:33:20 · 229 阅读 · 1 评论 -
爬取百度
百度V百科爬取所有问题&回答哎,直接上代码import requestsimport refrom lxml import etreeimport timeheaders={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.52'}def get_ur原创 2020-08-08 20:38:41 · 267 阅读 · 2 评论 -
百度百科词条爬取
前言:为了符合我这个强迫症患者,有了问答界面,没有数据怎么办捏,所已,又写了一个爬虫,爬取百度百科页面注意:没什么注意的只是百度百科用了异步加载,比较麻烦异步加载是什么捏,emmmmmmmmmmm就是在我们普通的页面中是可以再源代码中找到网页上显示的超链接,异步加载只不过是没有吧链接放到源代码中,所以普通的方法肯定就不行了,那麽他的链接到底在哪儿捏?????可以看到源代码里是没有任何与页面相关的url,而所有的url和词条信息在另一个网址中打开检查,进入网络中可以看到有很多请求异步加载的原创 2020-08-06 15:46:22 · 3695 阅读 · 11 评论