本次主要分享两个小脚本操作,使用python语言实现。
1.网页链接获取
其中有个就是常用的你想要获取到某个网页当中的全部所需的链接,但是又对于爬虫等框架知识不清楚,其实没有必要搞那么复杂,只要简单几步,便可以实现了,并且将做些简单的介绍。
Talk is cheep,show me the Code!
直接上代码!
"""
实现内容:
实现了将微信公众号当中的网页中的符合要求的网页链接爬取下来
并且存入到txt文件当中
"""
from bs4 import BeautifulSoup#用于解析网页
import requests
def main():
#改这里
url='https://mp.weixin.qq.com/s/ZqLPc2ja72qyfV2n-0mYSA'
web_data = requests.get(url)
soup=BeautifulSoup(web_data.text,'lxml')
#改这里
links_file=open('G:/Desktop/link.txt','a')#自定义,你也可以不写入文本文件当中,或者设计链表存储也可以
print("begin!")
for i in range(1,11):
#改这里
links = soup.select('#js_co