![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
youlingxx
不停的学习
展开
-
为什么python适合写爬虫?
1)抓取网页本身的接口 相比与其他静态编程语言,如java,c#,C++,python抓取网页文档的接口更简洁;相比其他动态脚本语言,如perl,shell,python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择) 此外,抓取网页有时候需要模拟浏览器的行为,很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求,转载 2017-03-29 16:16:00 · 2646 阅读 · 0 评论 -
Python做爬虫究竟比其他语言好在哪里呢?
爬虫需要处理的一些问题: 发送HTTP请求 解析HTML源码处理反爬虫机制效率...... 说到底就是因为Python在处理上面的事情的时候有很多库,而且语法简洁,代码风骚,开发者的注意点可以集中在自己要做的事情上。 ---------------------------------------- 简单的不能再简单的粗略不严谨地回顾一下: 发送HTTP请求: Python里我转载 2017-03-29 16:20:26 · 7441 阅读 · 1 评论