python爬虫（8）爬虫实例（4）

 # -*- coding: utf-8 -*-
    from bs4 import BeautifulSoup
    import requests
    import time
    
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    
    def jugement_sex(class_name):
        if class_name == ['member_girl_ico']:
            return '女'
        else:
            return '男'
    
    def get_links(url):
        wb_data = requests.get(url, headers = headers)
        soup = BeautifulSoup(wb_data.text, 'html.parser')
        links = soup.select('#page_list > ul > li > a')
        for link in links:
            href = link.get('href')
            get_info(href)
    
    def get_info(url):
        wb_data = requests.get(url, headers = headers)
        soup = BeautifulSoup(wb_data.text, 'html.parser')
        titles = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')
        addresses = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span')
        prices = soup.select('#pricePart > div.day_l > span')
        imgs = soup.select('#curBigImage')
        names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')
        sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > span')
        for title, address, price, img, name, sex in zip(titles, addresses, prices, imgs, names, sexs):
            data = {
                    'title':title.get_text().strip(),
                    'address':address.get_text().strip(),
                    'price':price.get_text(),
                    'img':img.get('src'),
                    'name':name.get_text(),
                    'sex':jugement_sex(sex.get('class'))
                    }
            print(data)
    
    if __name__ == '__main__':
        urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,10)]
        for single_url in urls:
            get_links(single_url)
            time.sleep(2)

通俗的理解__name__ == ‘main’：假如你叫小明.py，在朋友眼中，你是小明(name == ‘小明’)；在你自己眼中，你是你自己(name == ‘main’)。

if name == 'main’的意思是：当.py文件被直接运行时，if name == 'main’之下的代码块将被运行；当.py文件以模块形式被导入时，if name == 'main’之下的代码块不被运行。
https://blog.csdn.net/yjk13703623757/article/details/77918633/#commentBox

代码分析
（1）1-4行，导入程序所需要的库。这里就不详细论述了，可参考我之前的博客；
（2）5-7行，导入User-Agent，是爬虫程序伪装成浏览器；
（3）8-12行，定义jugement_sex()函数，用于判断房东的性别。性别是提取数据之一；
（4）12-20行，定义get_links()函数，用于获取进入详细页面的链接，而链接位于url标签的属性当中。使用BeautifulSoup中的select函数，通过浏览器的“Copy Select”来获取’#page_list > ul > li > a’，进而返回url的值，非常方便；
（5）22-40行，定义get_info()函数，用于获取每个网页的信息并输出信息。想要提取的信息是如题干所述，在代码中即是title/address/price/img/name/sex；select()的用法如上所述；zip()函数的用法，可参考下列网页：
https://www.cnblogs.com/frydsh/archive/2012/07/10/2585370.html；get_text()用于获取html代码串中的文本信息，并去掉标签；strip()用于对对象去掉括号中的参数，默认为去掉空格；最后输出为字典dict，并打印到页面上；
（6）42-46行，是行为程序的主入口，name == ‘main‘表示，只有单独运行此py文件时，才会运行下列函数；format()将字符串格式化输出，构造10个url，不过其实不用写的这么复杂。。。；time.sleep(2)的作用是，每循环一次，让程序暂停2秒，以防爬取过快而导致爬虫失败。