第一个爬虫

最新推荐文章于 2022-05-08 21:30:28 发布

Jerry_liu20080504

最新推荐文章于 2022-05-08 21:30:28 发布

阅读量314

点赞数 1

分类专栏： Python 文章标签： spider 爬虫 python python2 入门示例

本文链接：https://blog.csdn.net/Jerry_liu20080504/article/details/86703662

版权

Python 专栏收录该内容

14 篇文章 2 订阅

订阅专栏

#coding=utf-8
import requests
from bs4 import BeautifulSoup
import os
import sys
reload(sys)
sys.setdefaultencoding('utf8')

def getHtmlurl(url):         #获取网址
    try:
       r=requests.get(url)
       r.raise_for_status()
       r.encoding=r.apparent_encoding
       return r.text
    except:
        return ""

def getpic(html): #获取图片地址并下载
    soup =BeautifulSoup(html,'html.parser')
    all_tag=soup.find('ul',class_='all-img-list cf').find_all('h4')
    for tag in all_tag:
       src=tag.string
       src.decode('utf-8')
       print ("小说名称：" + src)
def main():
    url='https://www.qidian.com/all'
    html=(getHtmlurl(url))
    getpic(html)
main()

基于python2.7+BeautifulSoup4写的，程序目的是抓取起点中文网所有小说列表中的第一页中的所有小说名称。

该爬虫的重点是网页结构的分析。

刚起步，见笑了！

参考：

一个咸鱼的Python爬虫之路（三）：爬取网页图片 - FRANKLV - 博客园
https://www.cnblogs.com/franklv/p/6829387.html