Python爬虫的一些总结

最新推荐文章于 2024-05-03 14:31:58 发布

PegasusWang_

最新推荐文章于 2024-05-03 14:31:58 发布

阅读量1.1k

点赞数

分类专栏： python 文章标签： tornado python 爬虫

本文链接：https://blog.csdn.net/pegasuswang_/article/details/48897175

版权

python 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

最近写了一些爬虫，总结下遇到过的一些问题.

常用库:

抓取网页: 常用的有requests, urllib.
解析: BeautifulSoup, lxml, re.
框架: scrapy, pyspier.
url去重: bloomfilter
图片处理: Pillow
OCR: Tesseract，google的一个ocr库。
代理: 代理Tor, PySocks

如何异步爬取？

可以使用grequests库，或者对于简单的爬虫,tornado文档有个demo，稍微改下自己用。
一个简单的异步爬虫类：

import time
from datetime import timedelta
from tornado import httpclient, gen, ioloop, queues


class AsySpider(object):

    def __init__(self, urls, concurrency):
        self.urls = urls
        self.concurrency = concurrency
        self._q = queues.Queue()
        self._fetching = set()
        self._fetched = set()

    def handle_page(self, url, html):
        print(html)

    @gen.coroutine
    def get_page(self, url):
        try:
            response = yield httpclient.AsyncHTTPClient().fetch(url)
            print('######fetched %s' % url)
        except Exception as e:
            print('Exception: %s %s' % (e, url))
            raise gen.Return('')
        raise gen.Return(response.body)

    @gen.coroutine
    def _run(self):

        @gen.coroutine
        def fetch_url():
            current_url = yield self._q.get()
            try:
                if current_url in self._fetching:
                    return

                print('fetching****** %s' % current_url)
                self._fetching.add(current_url)
                html = yield self.get_page(current_url)
                self._fetched.add(current_url)

                self.handle_page(current_url, html)

                for i in range(self.concurrency):
                    if self.urls:
                        yield self._q.put(self.urls.pop())

            finally:
                self._q.task_done()

        @gen.coroutine
        def worker():
            while True:
                yield fetch_url()

        self._q.put(self.urls.pop())

        # Start workers, then wait for the work queue to be empty.
        for _ in range(self.concurrency):
            worker()
        yield self._q.join(timeout=timedelta(seconds=300))
        assert self._fetching == self._fetched

    def run(self):
        io_loop = ioloop.IOLoop.current()
        io_loop.run_sync(self._run)


def main():
    urls = ['http://www.baidu.com'] * 100
    s = AsySpider(urls, 10)
    s.run()

if __name__ == '__main__':
    main()

如何模拟成浏览器?

使用requests库可以很方便的给请求加上header，具体可以参考requests的文档。

如何提交表单？模拟登录

一般是查找html源代码找到form，然后看form提交的地址，就可以直接使用requests的post方法提交数据。
另外requests还有个Session模块，使用起来很方便。
有些网站如果是需要登录的，我们可以直接把登录后自己的cookies复制下来，直接作为requests的cookies参数传进去。

如何模拟成搜索引擎？

     
     
      
      # 模仿百度蜘蛛
     
     
     
     
      
      # 模拟成搜索引擎只需要改下header的User-Agent，比如模拟百度爬虫:
     
     
     
     
      
      headers = {
     
     
     
         
      
      'User-Agent': 
      
      'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)',
     
     
     
     
      
      }
     
     
     
     
      
      r = requests.
      
      get(url, headers=headers)

其他常见搜索引擎:
360Spider：
Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider

Sogouspider：
Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

如何抓取手机app的内容？

手机内容一般通过发送请求使用json等数据格式通信，所以可以使用抓包软件fiddle等来抓取请求，分析请求来源，之后就可以模拟
发送请求抓取数据。抓包也可以使用mitmproxy，一个python开发的强大的代理软件，只需要用命令行启动mitmproxy，之后将手机wifi
代理更改成为电脑的ip和mitmproxy启动时指定的端口号，就可以看到app发送的请求了。接下来要做的就是仔细过滤请求，看看需要的
信息是通过什么请求发送的，我们就可以直接使用requests手工模拟获取数据了。