Python实战计划学习作业1-5

代码如下

from bs4 import BeautifulSoup
import requests

single_url = "http://weheartit.com/inspirations/taylorswift?scrolling=true&page="
target_dir = "/Users/reed/Desktop/images"

url_list = ["http://bj.58.com/pbdn/0/pn{}/".format(str(i)) for i in range(2, 2, 1)]
url_list.insert(0, "http://bj.58.com/pbdn/0/")


def get_detail_page_url_list(list_page_url):
    wb_data = requests.get(list_page_url)
    soup = BeautifulSoup(wb_data.text, 'lxml')

    link_list = soup.select("#infolist > div.infocon > table > tbody > tr > td.img > a")
    print(len(link_list))
    return [link.get('href').split('?')[0] for link in link_list]


def analyze_page(url):
    html_data = requests.get(url)
    page_soup = BeautifulSoup(html_data.text, 'lxml')

    cates = page_soup.select('#nav > div > span > a')
    names = page_soup.select(
        'body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > h1')
    prices = page_soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix ' +
                              '> div.info_massege.left > div.price_li > span > i')
    locations = page_soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix ' +
                                 '> div.info_massege.left > div.palce_li > span > i')
    sellers = page_soup.select('p.personal_name')
    views = page_soup.select('span.look_time')

    print(url)
    print("分类：" + cates[-1].get_text().strip())
    print("物品名：" + names[0].get_text())
    print("价格：" + prices[0].get_text())
    print("区域：" + locations[0].get_text())
    print("卖家：" + sellers[0].get_text())
    print("浏览量: " + views[0].get_text())


if __name__ == '__main__':
    for url in url_list:
        for page_url in get_detail_page_url_list(url):
            if len(page_url) > 105:
                continue
            else:
                print('----------------------------------------------')
                analyze_page(page_url)

输出结果

/Library/Frameworks/Python.framework/Versions/3.5/bin/python3.5 /Users/reed/PycharmProjects/web01/web_parse5.py
50
----------------------------------------------
http://zhuanzhuan.58.com/detail/801060861649125380z.shtml
分类：北京二手市场
物品名：ACER   A500平板电脑
价格：400
区域：北京-海淀
卖家：流云居士qq
浏览量: 76次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/801055929787678724z.shtml
分类：北京二手市场
物品名：9成新Ipadmini4  128G的，现在想转手，有需要的请留言联系我
价格：3000
区域：北京-朝阳
卖家：美半天
浏览量: 99次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800981901253705735z.shtml
分类：北京二手市场
物品名：Apple iPad mini 4 7.9英寸64g银色
价格：2800
区域：北京-东城
卖家：大先生的家
浏览量: 193次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800982989552435208z.shtml
分类：北京二手市场
物品名：小米平板2
价格：1099
区域：北京-昌平
卖家：狼，我能
浏览量: 104次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/780922550779019266z.shtml
分类：北京二手市场
物品名：平板固定架
价格：100
区域：北京-海淀
卖家：卖家周
浏览量: 472次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800971434109698054z.shtml
分类：北京二手市场
物品名：iPad2 32g港版wifi 九成新
价格：1099
区域：北京-房山
卖家：精彩001
浏览量: 377次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/783215280317464580z.shtml
分类：北京二手市场
物品名：飞触平板G08S  8成新
价格：600
区域：北京-昌平
卖家：LoveLemon.
浏览量: 1312次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/788070275057139716z.shtml
分类：北京二手市场
物品名：自用iPad3 16g wifi 经典款低价转让
价格：1120
区域：北京-朝阳
卖家：龙巍
浏览量: 1262次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800717244609937409z.shtml
分类：北京二手市场
物品名：前男友送的，现在分手了，不想要了，诚心转让联想游戏i7八核笔记本
价格：1220
区域：北京-海淀
卖家：青烟‘一缕
浏览量: 769次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800495369778102278z.shtml
分类：北京二手市场
物品名：全新机iPad pro256G白色 延保 全新4080
价格：4080
区域：北京-朝阳
卖家：偏执蜀黍
浏览量: 213次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/777704258455715844z.shtml
分类：北京二手市场
物品名：iPad mini键盘
价格：150
区域：北京-西城
卖家：嘛呢～嘛呢
浏览量: 917次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/799819812506959873z.shtml
分类：北京二手市场
物品名：台电平板a78
价格：88
区域：北京-丰台
卖家：一渡居士
浏览量: 164次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/764413336702418948z.shtml
分类：北京二手市场
物品名：ipad2 3g版16g
价格：1200
区域：北京-丰台
卖家：蛇小姐
浏览量: 1630次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800317005831176194z.shtml
分类：北京二手市场
物品名：三星平板tp5200全新转让
价格：700
区域：北京-昌平
卖家：小胡091
浏览量: 45次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/794144227037134852z.shtml
分类：北京二手市场
物品名：微星3100笔控平板电脑
价格：156
区域：北京-昌平
卖家：迷迷糊糊的自己
浏览量: 359次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800318314001137666z.shtml
分类：北京二手市场
物品名：换了本本 亏就亏了 这台自用i7八核笔记本低价处理了吧
价格：1280
区域：北京-海淀
卖家：叶公好龙do
浏览量: 308次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800257890780954627z.shtml
分类：北京二手市场
物品名：16g ipad mini3 学生党 土豪金 不砍价 当面交
价格：1599
区域：北京-海淀
卖家：Tomgdjdh
浏览量: 398次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800264548554555394z.shtml
分类：北京二手市场
物品名：iPad mini2 16g国行在保
价格：1200
区域：北京-朝阳
卖家：小babi
浏览量: 42次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/801064884884733956z.shtml
分类：北京二手市场
物品名：国行 iPad mini 1出售
价格：700
区域：北京-西城
卖家：��小芄子��
浏览量: 34次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/799442695663157249z.shtml
分类：北京二手市场
物品名：平板
价格：1000
区域：北京-朝阳
卖家：阿良
浏览量: 136次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/801081208727044104z.shtml
分类：北京二手市场
物品名：ipad5
价格：1650
区域：北京-海淀
卖家：��酷儿
浏览量: 2次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/771163968564215812z.shtml
分类：北京二手市场
物品名：ipad mini2 4g
价格：2310
区域：北京-朝阳
卖家：手机那点事
浏览量: 1085次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800213745994809350z.shtml
分类：北京二手市场
物品名：平板
价格：200
区域：北京-朝阳
卖家：东北制造
浏览量: 126次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/797992735019941891z.shtml
分类：北京二手市场
物品名：苹果ipadair2金色
价格：1999
区域：北京-大兴
卖家：淡淡、清香
浏览量: 602次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/801028366568882183z.shtml
分类：北京二手市场
物品名：个人转闲置Lenovo新款八核九五新笔记本国行3年上门保修
全国联保笔记本,本本装有鲁大师检测工具
原装行货笔记本,原装配置,笔记本没有拆过,没有修过,没有任何问题.
cpu是高端八核酷睿睿频3.800MHZ,7200转高速硬盘2000G,内 存: 8GB 可升级16G内存
笔记本带无线网卡,带蓝牙,带读卡器,带DVD双刻,带HDMI高清液晶电视接口,
原装充电器,原装包包,原装鼠标,说明书
价格：1300
区域：北京-朝阳
卖家：情非得已的
浏览量: 41次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/790220275405602820z.shtml
分类：北京二手市场
物品名：智能学生通话学习平板
价格：700
区域：北京-朝阳
卖家：LauChiu
浏览量: 553次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/798831236015964168z.shtml
分类：北京二手市场
物品名：ipad pro 12.9寸，128g  wifi+4g版本，全新未拆封
价格：7000
区域：北京-海淀
卖家：卡没聋 →_→ 联通电信内
浏览量: 453次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/773345591328292868z.shtml
分类：北京二手市场
物品名：ipad3  32G   wifi+4G  插卡
价格：1360
区域：北京-海淀
卖家：排毒养生减重专家
浏览量: 2765次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/791299795356499972z.shtml
分类：北京二手市场
物品名：联想乐PAD A1-07 16G 全新未
价格：400
区域：北京-顺义
卖家：杰琳
浏览量: 650次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/778224501142716418z.shtml
分类：北京二手市场
物品名：iPad一代白色16G-全新
价格：1000
区域：北京-西城
卖家：买家6404572
浏览量: 1084次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/799575065290440710z.shtml
分类：北京二手市场
物品名：创星19英寸LED平板液晶电视
价格：300
区域：北京-丰台
卖家：dwytsj
浏览量: 248次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/773449593764626436z.shtml
分类：北京二手市场
物品名：平板电脑 小口转HDMI连接线  可以从平板输出直接连接电视播放
价格：50
区域：北京-昌平
卖家：AngeL·雏菊
浏览量: 420次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/793662671655927812z.shtml
分类：北京二手市场
物品名：联想YOGA1050F款平板电脑
价格：1899
区域：北京-朝阳
卖家：若时光被搁浅
浏览量: 351次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/799961932814188552z.shtml
分类：北京二手市场
物品名：大四女生转Thinkpad八核笔记本999新配置高
价格：1300
区域：北京-海淀
卖家：等待着yuyi
浏览量: 491次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/779239058887950339z.shtml
分类：北京二手市场
物品名：Thinkpad笔记本包
价格：50
区域：北京-海淀
卖家：李永娟Sarah
浏览量: 376次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800155321332334594z.shtml
分类：北京二手市场
物品名：7寸平板电脑包邮
价格：55
区域：北京-石景山
卖家：苑东征
浏览量: 574次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/792549247091572740z.shtml
分类：北京二手市场
物品名：复古真皮单肩包疯马皮男士休闲ipad包头
价格：188
区域：北京-海淀
卖家：Mr一高
浏览量: 787次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/783102289848893444z.shtml
分类：北京二手市场
物品名：ThinkPad（BP100）E系列原装
价格：70
区域：北京-西城
卖家：Liqi李
浏览量: 204次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/789975025469145092z.shtml
分类：北京二手市场
物品名：全新 苹果ipad air平板保护套
价格：28
区域：北京-丰台
卖家：有爸妈的地方就是家
浏览量: 407次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/798526911639896068z.shtml
分类：北京二手市场
物品名：surface3 4G微软平板电脑 苏菲3 国行发票保修期内
价格：2880
区域：北京-朝阳
卖家：E落雪
浏览量: 407次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/789677827221356548z.shtml
分类：北京二手市场
物品名：ipad1 A1219国行32G
价格：600
区域：北京-朝阳
卖家：欧阳秋123
浏览量: 429次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/783103770018775044z.shtml
分类：北京二手市场
物品名：联想ThinkPad TL600 0E5
价格：135
区域：北京-西城
卖家：Liqi李
浏览量: 393次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/799436655702638597z.shtml
分类：北京二手市场
物品名：3000
价格：3000
区域：北京-昌平
卖家：青柠檬味道的脉动
浏览量: 78次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/787587939820437508z.shtml
分类：北京二手市场
物品名：99成色国行金色iphone6S
价格：2660
区域：北京-崇文
卖家：@心如薄荷天然凉。。
浏览量: 1211次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/799570038169075714z.shtml
分类：北京二手市场
物品名：华为 平板 m2
价格：1344
区域：北京-朝阳
卖家：长枪依在响当年
浏览量: 296次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/717017743416557569z.shtml
分类：北京二手市场
物品名：Thinkpad原装鼠标
价格：50
区域：北京-通州
卖家：画行天涯
浏览量: 736次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/797341440747143176z.shtml
分类：北京二手市场
物品名：平板公文包
价格：150
区域：北京-海淀
卖家：apple82325
浏览量: 46次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/798373202141937665z.shtml
分类：北京二手市场
物品名：ipad外套
价格：50
区域：北京-丰台
卖家：李心悦爸爸
浏览量: 120次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/800331609838452744z.shtml
分类：北京二手市场
物品名：MacBookAir 11寸
价格：5200
区域：北京-海淀
卖家：OTuki☄
浏览量: 288次浏览
----------------------------------------------
http://zhuanzhuan.58.com/detail/798790748079915009z.shtml
分类：北京二手市场
物品名：iPadmini4 64G
价格：2800
区域：北京-朝阳
卖家：机械工厂
浏览量: 333次浏览

Process finished with exit code 0

可优化的地方有CSS selector，保存结果的方式，浏览量的获得等。