一.主题式网络爬虫设计方案:爬取人人贷网上部分借贷信息
1.主题式网络爬虫名称:爬取人人贷网上部分信息
2.主题式网络爬虫的内容与数据特征分析:爬取人人贷部分信息数据,借贷信息
3.主题式网络爬虫设计方案概述(包括实现思路与技术难点):找到该网站的网址,然后F12分析该网址的源代码,找到自己所需要的数据所在的位置,提取相关的数据分析,进行数据上的处理和数据可视化的操作.
二.二、主题页面的结构特征分析
主题页面的结构与特征分析:打开网址找到我们需要的数据所在位置
然后摁F12提取相关的数据源代码
三、网络爬虫程序设计
1.数据爬取与采集
首先爬取网页通用框架
然后再将该内容进行解析
选择需要绘制的最大值与最小值的柱状图数据
绘制饼图
from pyecharts import Pie
def drawRRDPie (data) :
绘制饼状图.
四.
附上完整程序代码
i mport requestsi mport json
def getRRDInfo(startPage, endPage) :
解析jison文件,获取数据’
data=0_ #统计数据
for page in range (startPage, endPage) :
responseFrequests. post (ur1). textur1='
https://www. renrendai. com/1 oan/1ist/1oanLi st?star tNum=O&1imi t=10'
list=. json.1oads(response). get(' data' ).get(' 1ist')
for item in list:
title=item. get(' tit1e' )
amount=i tem. get(' amount' )
if title not in data. keys():
data[tit1e]=[]
data [title]. append (amount)
#打印数据
print(" *************************** )
print("借款标题: %s" % tit1e)
print(" Hà: %sT" % amount)
return data
if_ name_ =="
main_ ." :
data-getRRDInfo(0, 1)
def bs(text):
#将读取到的网页解析
return soupsoup = bs4. Beauti fulSoup(text,' html. parser')
def main():
url = 'https:/ /www. bilibili. com/ ranking?'# pE pE# A #FfTiisome = get_ url(url)
soup = bs some )
with open( 'try2.txt' , ' W', encoding-'utf-8' ) as f:
f . write( soup. text)# it5fH4iI##Æ FШf#
main( )
from pyecharts import Bar
) def drawRRDBar (data) :
绘制柱状图”
attr=1ist (data. keys (())
min_ _amount=[]
max_ _amount=[]
for item in data. keys(:
min_ amount. append(min(data[i tem]))
max_ amount. append(max (data[i tem]))
bar =Bar("人人贷”,”借款类型最小值/最大值")
bar. add("最小值”,attr , min_ amount , is_ 1abel_ show=True)bar. add("最大值",attr,max_ amount, is_ 1abel_ show=True)bar. render ()
if_ _name__main_”:
data=getRRDInfo(0, 10)
drawRRDBar (data)
from pyecharts import Pie
def drawRRDPie (data) :
绘制饼状图.
attr=list (data. keys())
va1ue=[]
for item in data. keys() :
value. append(sum(data [i tem]))
bar =Pie(”人人贷”, ”借款类型所占比例")
bar. render ()bar. add("" , attr , value , is_ 1abel_ _show=True)
if _ _name__ =="_ main__" :
dr awRRDPie (data)data=getRRDInfo(0, 10)
标签:bar,get,借贷,爬取,keys,amount,可视化,data
来源: https://www.cnblogs.com/laiqunshi/p/12736477.html