Python Notebook 爬虫实践案例分享1/bscscan

最新推荐文章于 2024-09-13 08:34:55 发布

哈老师的区块链

最新推荐文章于 2024-09-13 08:34:55 发布

阅读量631

点赞数 1

本文链接：https://blog.csdn.net/m0_56574080/article/details/127437857

版权

是日，申东华教授电邮告吾爬取bscscan以及dappradar的BEP-20 Tokens以及Top Blockchain Dapps的相关数据以供研究之用，吾当时希望可以成为教授研究助理，因此硬着头皮接下了这个工作，但彼时我还没有开始过一次爬虫的练习，但是在简历上已经说了我是会用爬虫的。没办法，我只好硬着头皮做了起来。

先看要求：

教授首先要求我将下面的网站Tokens 那一列的名称和简介以及名称对应的超链接的资料爬取下来。

于是我们开始做。

from bs4 import BeautifulSoup
import requests
import pandas as pd

headers={
   'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}  #我并不确定这个header是干什么用的，但是看了有的文章说如果这里没有一个好的header后面会爬取数据被反爬虫。

# url for webscraper
ls = [1,2,3,4,5,6,7,8,9,10]  #这个网站一共有10页
# url = "https://yieldwatch.net"
url = 'https://bscscan.com/tokens?p='  # 我们在做网站页面提取的时候一定要截取网站链接通用的部分。