Python爬虫实战之爬取链家广州房价_02把小爬虫变大

问题引入

上一小节简单介绍了单个页面的爬取，涉及到请求和解析两个模块，其中请求使用urllib，解析使用BeautifulSoup，爬取了链家的单个页面，处理了我们想要的页面元素，输出到控制台。我们通过浏览器上网打开页面，来源有两种，一种是已知的地址，如Google，另一种是通过前面爬下来的页面中获取入口，如a标签中的href属性值。通过爬虫自动化获取浏览器可以获取的数据，要模拟浏览器的行为，获取更多入口，然后处理需要处理的网页。

这里提出几个问题，欢迎大家提供更好的解决方案。

01简单的单页爬虫对单页的小区信息进行了爬取，可以参考示例代码，用在售楼盘和成交记录的信息做一个小案例。对请求和处理网页，有没有更好的方法？

01简单的单页爬虫的结果输出到了控制台，后续的存储模块应该如何组织？如何结合多线程或多进程爬取？

思路介绍

前面提到，不管是小区信息、在售楼盘信息还是成交记录信息，总的页面都超过100页，所以要通过曲线救国的方式，先爬小区信息，再循环遍历每个小区的在售楼盘和成交记录。而在爬取小区信息过程中，也是循环遍历行政区(县)，模拟浏览器点击翻页，获取更多入口，然后解析获取的入口，继续弱化存储模块，输出到控制台。

获取更多入口的代码示例

def xiaoqu_batch_crawl(db_xiaoqu=None, region=u'天河'):
    try:
        # 天河utf-8: %E5%A4%A9%E6%B2%B3
        url_region = u'http://gz.lianjia.com/xiaoqu/rs' + region + '/'
        req = urllib2.Request(url_region,
                              headers=HDS[random.randint(0, len(HDS) - 1)])
        source_code = urllib2.urlopen(req, timeout=10).read()
        plain_text = source_code.decode('utf-8')
        soup = BeautifulSoup(plain_text, 'html.parser')
    except (urllib2.HTTPError, urllib2.URLError), e:
        print e
        return
    except Exception, e:
        print e
        return
    page_data = 'page_data = ' + soup.find('div', attrs={
        'class': 'page-box house-lst-page-box'}).get('page-data')
    exec (page_data)
    total_pages = page_data['totalPage']
    threads = []
    for page in range(total_pages):
        url_page = u'http://gz.lianjia.com/xiaoqu/pg%drs%s' % (page + 1, region)
        t = threading.Thread(target=xiaoqu_crawl, args=(db_xiaoqu, url_page))
        threads.append(t)
    for t in threads:
        t.start()
    for t in threads:
        t.join()
    print u'爬下了%s区全部的小区信息' % (region)


if __name__ == '__main__':
    xiaoqu_batch_crawl(db_xiaoqu=None, region=u'%E5%A4%A9%E6%B2%B3')
复制代码

待解决问题

在控制台窗口调用程序，如果region参数用region=u'天河'，报错'ascii' codec can't encode characters in position 14-15: ordinal not in range(128)，编码问题是Python届的大坑，加入如下设定编码的惯例解决。

import sys

reload(sys)
sys.setdefaultencoding("utf-8")
复制代码

然而问题来了，Why reload(sys)？

Google say: reload(sys) is evil

---

您可能还想看

Hadoop/CDH

Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境

Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式

Hadoop实战（3）_虚拟机搭建CDH的全分布模式

Hadoop实战（4）_Hadoop的集群管理和资源分配

Hadoop实战（5）_Hadoop的运维经验

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

Hadoop实战（7）_Apache Hadoop安装和配置Hue

Hadoop实战（8）_CDH添加Hive服务及Hive基础

Hadoop实战（9）_Hive进阶及UDF开发

Hadoop实战（10）_Sqoop import与抽取框架封装

---

微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。

转载请注明：转载自微信公众号「数据分析」

---

读者交流电报群:

https://t.me/sspadluo

转载于:https://juejin.im/post/5a640c3b6fb9a01caa20a0d9