CSS选择器
CSS选择器语法 —>猛戳这里
与find的不同点
find --> 用BeautifulSoup(content, ‘lxml’)
CSS --> 用BeautifulSoup(content, ‘html.parser’)
然后通过刚才find爬取的网站, 发现的一些好东西 - -来爬她
初略一看.并没有反爬手段,用之前的框架 一堆一堆东西放进去就OK = 贼简单
继续步骤
一阵观察 咳咳 绝对没有看不应该看的地方 看到CSS的语法为(是不是和xpath有点像)
# 注意这里class 如果有多个属性值的话 选择一个就可以了
soup_paht = '.pic_list_con > ul > li > .cover > a > img'
既然得到了然后就通过语法定位我们需要的需要拿到下载就完事了呗(这里就不下套图了,减少人家服务器负担)
import urllib.request
from bs4 import BeautifulSoup
def create_request():
url = 'https://www.cosplaymore.com/list-65-1.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
}
req = urllib.request.Request(url=url, headers=headers)
return req
def download_content(req):
res = urllib.request.urlopen(req)
content = res.read().decode('utf-8')
return content
def parse_content(content):
# 和xpath语法差不多 一步一步查找到终点
soup_path = '.pic_list_con > ul > li > .cover > a > img'
soup = BeautifulSoup(content, 'html.parser')
# 获取节点信息
img_nodes = soup.select(soup_path)
# 遍历信息
img_list = []
for i in img_nodes:
# 找到需要的属性src
img_src = i.get('src')
img_list.append(img_src)
return img_list
def save_images(img_list, path):
j = 1
# 将爬取回来的网页进行整理
for src in img_list:
# 拿出格式
img_pattern = src.split(".")[-1]
# 构建图片名字
file_name = path + "/" + str(j) + "." + img_pattern
urllib.request.urlretrieve(src, file_name)
j += 1
def main():
path = "./xiezhen"
# 创建请求
req = create_request()
# 下载数据
content = download_content(req)
# 解析数据
img_list = parse_content(content)
# 保存数据
save_images(img_list, path)
if __name__ == "__main__":
main()
存数据
save_images(img_list, path)
if __name__ == "__main__":
main()
学完这三大查找解析利器之后 任何没有反爬手段的网站
应该都是轻而易举的能爬到想要的数据了 = =
但是大多数网站都是有反爬手段的.怎么办呢 = =
明天搞一搞~~