Python学习记录-Day01

	学习python第一天,打算做一个简单的爬虫,爬取宜家网站上的一些图片。因为有java基础,不再记录基本语法,打算在一个个小功能块中慢慢熟练语法。
    功能主要用到的python模块为:
            1、request模块-用于模拟浏览器发送http请求
            2、bs4模块的BeautifulSoup对象-可以通过类似jQuery选择器一样的方式操作dom
      关键步骤
           1、request模块做地址请求:res_data = requests.get("https://www.ikea.cn/cn/zh/catalog/categories/departments/bedroom/19053/", headers)
           2、以bs4.BeautifulSoup对象封装dom:form_text = BeautifulSoup(res_data.res_text, 'html.parser')
           3、选择器操作需要的关键元素:allProduct = form_text.select(".product")
           4、图片文件落地:        
                                     f = open(id+".jpg", 'ab') 
                                     f.write(img_soup.content)


      详细代码如下(可直接执行)
import requests
# import bs4
from bs4 import BeautifulSoup
import re
import random
import os

global_headers = [
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
    "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)",
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值