python爬虫
文章平均质量分 75
你就像只铁甲小宝
https://hzeyuan.cn/
展开
-
(干货)写爬虫的你一定有类似经历
找好目标网站兴高采烈的打开F12,观察一番查看network面板,抓请求,简简单单有json返回,So Easy。代码一顿噼里啪啦,搞定!找好目标网站兴高采烈的打开F12,观察一番网站没有直接返回数据,而是html啥的,简单,解析html呗。xpath,css selector ,re给我盘他。代码一顿噼里啪啦,搞定!找好目标网站兴高采烈的打开F12,观察一番请求只返回了js,然后js动态加载到网页中。上家伙,selenium,puppeteer,phanotomjs,给我盘他。代码一顿噼里啪啦,搞定!原创 2022-06-02 23:04:54 · 466 阅读 · 2 评论 -
go爬虫框架-colly实战(一)
原文连接:Hzy 博客1.吐槽这几天准备用go写爬虫来着,之前一直都是用python,python写协程,我这菜鸡也得又蛋疼,刚好又学了go,就想体验一把用go写爬虫的快感来着。之前github上照着别人的思路,写了一个简单的并发爬虫框架,对go的并发,倒是学到了一点点,无意间发现了colly,对比下别人的,在看自己写的,唉…2.colly简单介绍使用github: htt...原创 2019-12-23 19:30:42 · 2286 阅读 · 1 评论 -
[python爬虫学习] requests库的使用
前言昨天写了一下爬虫,但发现requests库的使用有些忘了,所以准备记录下来!!稍微介绍下,给第一次接触这个库的人。您肯定经常看到urllib,urllib2,这些python标准库。requests库的功能其实和它们差不多,但方便上手,容易学习!!!开始学习最好的学习参考对象是什么,当然是官网文档啦。下面是连接:http://docs.python-requests.org/z...原创 2019-01-05 15:09:55 · 465 阅读 · 0 评论 -
Python异步模块asyncio/aiohttp(链家爬虫实例)
本文转载自https://www.jianshu.com/p/5f41d9fb6b12一、写在开头虽然用scrapy框架来爬信息已经够快了,再用aiohttp来爬链家有点重复造轮子的嫌疑,但还是有助于我对异步编程的理解。以下内容都是出于自己对于异步的理解写出来的,毕竟不是计算机专业,没法用专业的语言来表述,用的都是通俗口语化的文字,其中肯定有些地方也写的并不对,但目前只能这样了,待以后有更...转载 2019-01-22 14:34:10 · 1868 阅读 · 0 评论 -
[python爬虫]aiohttp+asynci写的第一个异步爬虫(模板)
现在对异步爬虫有一个初步的了解,但还是有很多地方不懂,最近也发现很多这方面写的很好的文章,学到了很多东西。爬虫链家二手房的例子:改一改就可以爬其他网站啦,然后在见招拆招了,速度很快哈哈哈。 """----2940条:Cost 3.7898309230804443 seconds"""from lxml import etreefrom time im原创 2019-01-28 23:53:18 · 1920 阅读 · 0 评论