python3爬虫数据解析实战

如图所示，我想获取图片中画红框的src图片路径
这里我们用urlib请求下来数据，然后用BeautifulSoup解析数据

#python3
from bs4 import BeautifulSoup
import urllib.request
url='http://www.3jy.com'
response=urllib.request.urlopen(url)
#取右侧的一周热门排行的第一张图片
html=response.read()
#首先分析  是在body标签下的 class=main-right的div下
#再一个class为wenzi_add的div的列表ul li 
# print(html)
#接下来用BeautifulSoup解析html数据
html=html.decode('utf-8')#python3
soup=BeautifulSoup(html,'html.parser')
div=soup.select('div[class=main-right]')
div1=div[0]
div2=div1.select('div[class=wenzi_add]')
div3=div2[0]
ul=div3.select('ul')
ul1=ul[0]
a=ul1.select('a')
a1=a[0]
img=a1.select('img')
#将图片img对象转成list img[0]  然后获取其中的src属性img[0]['src']
src=img[0]['src']
print(src)
# 获取url下的所有li标签中的url
list=[]
for listr in ul1:
    a=ul1.select('li')
    a1=a[0]
    img=a1.select('img')
    src=img[0]['src']
    list.append(src)
    print(list)