python爬取csdn自己喜欢的文章

下面这个代码用的时候就只需要将那个自己喜欢的博主的网址链接输入进来就可以了

小编有一个梦想，每天写出来一种爬虫，有朝一日，天下每一个读书人都不再有查不到的学习资料

from urllib.request import urlopen
from bs4 import BeautifulSoup
k=input()
def pa(html):
    bs = BeautifulSoup(html, 'html.parser')  # 解析网页
    return bs

list=[]
try:
    html = urlopen(k)
    bs=pa(html)
    hyperlink = bs.find_all('a')
    for h in hyperlink:
        hh = h.get('href')
        if len(str(hh)) > 25:
            list.append(hh)

except ValueError:
    print('')
except Exception:
    print("")
    # 没有预先判断到的错误怎么办?
    # ZeroDivisionError
finally:
    # 无论是否有异常，都会执行的代码
    print('')


for i in list:
    try:
        html = urlopen(i)
        bs = BeautifulSoup(html, 'html.parser')  # 解析网页
        hyperlink = bs.find_all('title')
        print(hyperlink,':',i)
        #print(bs.select('title'))
    except ValueError:
        print('')
    except Exception:
        print("")
        # 没有预先判断到的错误怎么办?
        # ZeroDivisionError
    finally:
        # 无论是否有异常，都会执行的代码
        print('')

如果觉得小编的这个代码循环的次数不够多，那么你们可以自己想办法让它再多遍历几遍，网络的秩序需要我们共同维护，在你遍历的时候要记得替别人考虑一下，不要影响了其它人。