python爬虫 学习 淘宝页面定向爬取 DAY5

import requests
import re

def getHTMLTxt(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""


def dealHTML(ulist,html):
    vpl = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
    rpl = re.findall(r'\"raw_title\"\:\".*?\"',html)
    for i in range(len(vpl)):
        vstr = eval(vpl[i].split(":")[1])
        rstr = eval(rpl[i].split(":")[1])
        ulist.append([vstr,rstr])

def printHTML(ulist,html):
    count=0
    print("{0:{3}<6}{1:{3}<8}\t{2:{3}^16}".format("序号","价格","商品名称",chr(12288)))
    for i in range(len(ulist)):
        count=count+1
        print("{0:{3}<4}\t{1:{3}^8}\t{2:{3}^16}".format(count,ulist[i][0],ulist[i][1],chr(12288)))

def wTXT(ulist,html):
    count=0
    f = open(r'C:\Users\lenovo\Desktop\书包价格.txt','w+')
    f.write("{0:{3}<6}{1:{3}<8}\t{2:{3}^16}".format("序号","价格","商品名称",chr(12288))+'\n')            
    for i in range(len(ulist)):
        count = count+1
        f.write("{0:{3}<4}\t{1:{3}^8}\t{2:{3}^16}".format(count,ulist[i][0],ulist[i][1],chr(12288))+'\n')
    f.close()
            
def main():
    page = 3
    urlm = "https://s.taobao.com/search?q="
    goods = "书包"
    ulist = []    
    for i in range(page):
        url = urlm+goods+"&s="+str(44*i)
        html = getHTMLTxt(url)
        dealHTML(ulist,html)
    printHTML(ulist,html)
    wTXT(ulist,html)
    
main()
    

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
很好的问题!以下是一些 Python 爬虫开源项目,可以用来爬取多种网站,包括微信、淘宝、豆瓣、知乎、微博等。 1. Scrapy:一个高效的Python爬虫框架,可用于从多个网站获取数据。 2. Beautiful Soup:一个用于解析HTML和XML文档的Python库,可用于爬取网站。 3. Selenium:一个自动化测试工具,也可用于模拟用户行为进行网站爬取。 4. Requests:一个Python HTTP库,可用于向网站发送请求并获取响应。 5. PyQuery:一个用于解析HTML文档的Python库,类似于jQuery。 6. Pyspider:一个强大的爬虫框架,可用于爬取多个网站。 7. Crawlera:一个智能代理池,可用于绕过网站的反爬虫机制。 8. Frontera:一个高效的分布式爬虫框架,可用于爬取大规模数据。 9. Newspaper:一个Python库,可用于从新闻网站中提取文章和元数据。 10. Feedparser:一个Python库,可用于解析RSS和Atom新闻源。 11. Grab:一个Python爬虫框架,可用于爬取多个网站。 12. ParseHub:一个基于云端的数据提取工具,可用于从网站中提取结构化数据。 13. Webbot:一个用于模拟用户行为的Python库,可用于爬取网站。 14. PySpider:一个基于分布式架构的Python爬虫框架,可用于爬取多个网站。 15. Grablib:一个Python爬虫框架,可用于爬取多个网站。 16. Python-Goose:一个Python库,可用于从新闻网站中提取文章和元数据。 17. Scrapy-redis:一个基于Redis的分布式爬虫框架,可用于爬取多个网站。 18. Scrapy-splash:一个基于Splash的JavaScript渲染爬虫框架,可用于爬取JavaScript动态生成的网页。 19. Scrapy-UserAgents:一个Scrapy中的中间件,可用于随机更换用户代理。 20. Scrapy-Proxies:一个Scrapy中的中间件,可用于随机更换代理IP。 21. Scrapy-rotating-proxies:一个Scrapy中的中间件,可用于随机更换代理IP。 22. Scrapy-selenium:一个Scrapy中的中间件,可用于使用Selenium进行网站爬取。 23. Scrapy-fake-useragent:一个Scrapy中的中间件,可用于随机更换用户代理。 希望这些开源项目能够帮助你进行网站爬取

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值