python爬虫及其可视化

已于 2022-04-13 22:06:45 修改
阅读量7.4k 收藏 70
点赞数 10
文章标签： sqlite python 爬虫 flask
于 2020-12-26 11:08:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/www100000/article/details/111721293
版权

一、思路分析

本文采用比特币网站作为爬取目标（https://www.ibtctrade.com/），从中获取prices、CNY、市值等，然后导出所得到的数据到excel、sqlite数据中。使用pyarm中的flask框架搭建可视化平台，使用sqlite数据库的数据制作简单的网页，并制作折线图、柱状图、散点图等等。

二、数据爬取

1.引入库

代码如下：

from bs4 import BeautifulSoup
import re
import urllib.error,urllib.request
import xlwt
import sqlite3

2.获取目标网页

代码如下：

baseURL = 'https://www.ibtctrade.com/cryptocurrency/p_'  #比特币交易网的数据一共有27页，分别在此网址上加上后缀，即可实现每个网页的获取
head = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'

    }
    request = urllib.request.Request(url,headers=head)
    html = ""

    response = urllib.request.urlopen(request)
    html = response.read().decode('utf-8')


    # print(html)
    return html

该处使用的url网络请求的数据。

2.解析网页

代码如下：

findjname = re.compile(r'<strong data-v-2dd1dc90="">(.*?)</strong>')
findname = re.compile(r'<span data-v-2dd1dc90="">(.*?)</span>')
findnewprice = re.compile(r'<li data-v-2dd1dc90="">\n(.*?)</li>',re.S)
findtwofourzhangdie = re.compile(r'<li class=".*" data-v-2dd1dc90="">(.*?)</li>',re.S)
# findtwofourdie = re.compile(r'<li class="down" data-v-2dd1dc90="">(.*?)</li>',re.S)
findcny = re.compile(r'<li data-v-2dd1dc90="">\n(.*?)</li>',re.S)
findshizhi = re.compile(r'<li data-v-2dd1dc90="">\n(.*?)</li>',re.S)
    

def getdata(baseURL):
    datalist = []
    for i in range(1,28):
        url = baseURL + str(i)+'.html'
        html = askurl(url)

        soup = BeautifulSoup(html,'html.parser')
        for item in soup.select('.content>a'):
            data =[]
            # print(item)
            item = str(item)
            jname = re.findall(findjname,item)[0]


            data.append(jname)

            name = re.findall(findname,item)[0]

            data.append(name)
            # print(data)

            newprice = re.findall(findnewprice,item)[0]


            data.append(newprice.strip())
            twofourzhangdie = re.findall(findtwofourzhangdie,item)[0]



            data.append(twofourzhangdie.strip())
            cny = re.findall(findcny,item)[1]
            data.append(cny.strip())
            shizhi = re.findall(findshizhi,item)[2]
            data.append(shizhi.strip())

            datalist.append(data)

    #　print(datalist)
    return datalist

    # print(html)
    return html

使用正则表达式进行数据的筛选和清洗

3.数据保存到excel

代码如下：

path = "比特币简易数据.xls"
dbpath = "比特币.db"
    # askurl(baseURL)
def savedata(datalist,path):
    print('正在saving·······')
    book = xlwt.Workbook(encoding='utf-8',style_compression=0)
    sheet = book.add_sheet('比特币数据',cell_overwrite_ok=True)
    col = ('简称','全称','最新价格','24H涨跌幅','24H成交额','市值')
    for i in range(0,6):
        sheet.write(0,i,col[i])
    for i in range(0,700):
        data = datalist[i]
        for j in range(0,6):
            sheet.write(i+1,j,data[j])
    book.save(path)

4.数据保存到sqlite数据库

代码如下：

path = "比特币简易数据.xls"
dbpath = "比特币.db"
    # askurl(baseURL)
ef savedb(datalist,dbpath):
    init_db(dbpath)
    conn = sqlite3.connect(dbpath)
    cur = conn.cursor()
    for data in datalist:
        for i in range(len(data)):
            data[i] = '"' +data[i]+'"'
            sql = """
                insert into bitebi750
                (jname, name,newprice,twofourzhangdie,cny,shizhi)
                values(%s)"""%','.join(data)
        cur.execute(sql)
        conn.commit()
    cur.close()
    conn.close()




def init_db(dbpath):
    sql = '''
        create table bitebi750
            (id integer primary key autoincrement,
                jname text, 
                name text,
                newprice text,
                twofourzhangdie text,
                cny text,
                shizhi text)
            
    
    
    '''
    conn =sqlite3.connect(dbpath)
    cursor =conn.cursor()
    cursor.execute(sql)
    conn.commit()
    conn.close()

三、基于flask框架的可视化

app.py

提示：这里对文章进行总结：
在app.py中对sqlite数据库的数据进行提取处理，主要把参数，传给所需要的数据，来制作图表，每个html的代码过多，不在贴出，可根据index.html自行修改.

from flask import Flask,render_template
import sqlite3
app = Flask(__name__)


@app.route('/')
def index():
    return render_template('index.html')
@app.route('/shuju')
def e():
    datalist = []
    con = sqlite3.connect("比特币.db")
    cur = con.cursor()
    sql = "select*from bitebi750"
    data = cur.execute(sql)
    for item in data:
        datalist.append(item)
    cur.close()
    con.close()
    return render_template('shuju.html',movies = datalist)

@app.route('/zhangdie')
def zhangdie():
    num = []
    sum = []
    con = sqlite3.connect("比特币.db")
    cur = con.cursor()
    sql = "select jname,twofourzhangdie from bitebi750 limit 0,70"
    data = cur.execute(sql)
    for item in data:
        num.append(str(item[0]))
        sum.append(float(item[1][:-1]))
    cur.close()
    con.close()
    return render_template("zhangdie.html",num = num ,sum = sum)
@app.route('/wordcloud')
def wordcloud():
    return render_template('wordcloud.html')


@app.route('/qujian')
def qujian():
    num = []
    sum = []
    con = sqlite3.connect("比特币.db")
    cur = con.cursor()
    sql = "select jname,newprice from bitebi750 limit 0,15"
    data = cur.execute(sql)
    for item in data:
        num.append(str(item[0]))
        sum.append(float(item[1][1:]))
    cur.close()
    con.close()

    return render_template('qujian.html',num = num ,sum = sum)

@app.route('/sandian')
def sandian():
    num = []
    sum = []
    yum = []
    con = sqlite3.connect("比特币.db")
    cur = con.cursor()
    sql = "select jname,twofourzhangdie,shizhi from bitebi750 limit 0,50"
    data = cur.execute(sql)
    for item in data:
        num.append(str(item[0]))
        sum.append(float(item[1][:-1]))
        yum.append(float(item[2][1:-1]))
    cur.close()
    con.close()
    return render_template('sandian.html',num = num ,sum = sum ,yum =yum)
@app.route('/shuliang')
def shuliang():
    q = 0
    w = 0
    e = 0
    r = 0
    t = 0
    y = 0
    u = 0

    sum = []
    con = sqlite3.connect("比特币.db")
    cur = con.cursor()
    sql = "select jname,shizhi from bitebi750 limit 0,204"
    data = cur.execute(sql)
    for item in data:

        sum.append(float(item[1][1:-1]))
    for i in sum:
        if i>500 and i<1000:
            q += 1
        elif i>100 and i<500:
            w+=1
        elif i>1 and i<100:
            e+=1
    sql = "select jname,shizhi from bitebi750 limit 204,700"
    data = cur.execute(sql)
    for item in data:

        sum.append(float(item[1][1:-1]))
        for i in sum:
            if i>100 and i<=1000:
                r+=1
            elif i>1000 and i<9999:
                y+=1
            elif i > 1 and i < 10:
                t+=1
            elif i > 10 and i < 100:
                u+=1


    cur.close()
    con.close()
    return render_template("shuliang.html",q=q,w=w,e=e,r=r,t=t,y=y,u=u)
if __name__ == '__main__':
    app.run()

index.html

Mamba Bootstrap Template - Index 
<!-- ======= About Us Section ======= -->
<!-- End About Us Section -->

<!-- ======= About Lists Section ======= -->


<!-- ======= Counts Section ======= -->


<!-- ======= Services Section ======= -->
<section id="services" class="services">
  <div class="container">

    <div class="section-title">
      <h2>Services</h2>
    </div>

    <div class="row">
      <div class="col-lg-4 col-md-6 icon-box" data-aos="fade-up">
          <div class="icon"><a href="/shuju"><i class="icofont-computer"></a></i></div>
        <h4 class="title"><a href="/shuju">数据总览</a></h4>
        <p class="description">共整合了741条数据供分析</p>
      </div>
      <div class="col-lg-4 col-md-6 icon-box" data-aos="fade-up" data-aos-delay="100">
          <div class="icon"><a href="/zhangdie"><i class="icofont-chart-bar-graph"></a></i></div>
        <h4 class="title"><a href="">各币种涨跌幅情况</a></h4>
        <p class="description">跟着政策走，永远不回头</p>
      </div>
      <div class="col-lg-4 col-md-6 icon-box" data-aos="fade-up" data-aos-delay="200">
        <div class="icon"><a href="/shuliang"><i class="icofont-earth"></a></i></div>
        <h4 class="title"><a href="">市值区间币种数量</a></h4>
        <p class="description">肯定还是正太分布了</p>
      </div>
      <div class="col-lg-4 col-md-6 icon-box" data-aos="fade-up" data-aos-delay="300">
          <div class="icon"><a href="/qujian"><i class="icofont-image"></i></a></div>
        <h4 class="title"><a href="">最具竞争力的币种</a></h4>
        <p class="description">看看那个最厉害</p>
      </div>
      <div class="col-lg-4 col-md-6 icon-box" data-aos="fade-up" data-aos-delay="400">
        <div class="icon"><a href="/sandian"><i class="icofont-settings"></i></a></div>
        <h4 class="title"><a href="">热门币种市值与涨跌幅关系</a></h4>
        <p class="description">只要热门肯定就会涨的啦</p>
      </div>
      <div class="col-lg-4 col-md-6 icon-box" data-aos="fade-up" data-aos-delay="500">
        <div class="icon"><a href="/wordcloud"><i class="icofont-tasks-alt"></a></i></div>
        <h4 class="title"><a href="/wordcloud">币名词云</a></h4>
        <p class="description">猜猜那个词是最大的</p>
      </div>
    </div>

  </div>
</section><!-- End Services Section -->

<!-- ======= Our Portfolio Section ======= -->
<section id="portfolio" class="portfolio section-bg">
  <div class="container" data-aos="fade-up" data-aos-delay="100">

    <div class="section-title">
      <h2>Our Portfolio</h2>
      <p>Magnam dolores commodi suscipit. Necessitatibus eius consequatur ex aliquid fuga eum quidem. Sit sint consectetur velit. Quisquam quos quisquam cupiditate. Et nemo qui impedit suscipit alias ea. Quia fugiat sit in iste officiis commodi quidem hic quas.</p>
    </div>

    <div class="row">
      <div class="col-lg-12">
        <ul id="portfolio-flters">
          <li data-filter="*" class="filter-active">All</li>
          <li data-filter=".filter-app">App</li>
          <li data-filter=".filter-card">Card</li>
          <li data-filter=".filter-web">Web</li>
        </ul>
      </div>
    </div>

    <div class="row portfolio-container">

      <div class="col-lg-4 col-md-6 portfolio-item filter-app">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/1.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>App 1</h4>
            <p>App</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/1.jpg" data-gall="portfolioGallery" class="venobox" title="App 1"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-web">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/2.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>Web 3</h4>
            <p>Web</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/2.jpg" data-gall="portfolioGallery" class="venobox" title="Web 3"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-app">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/3.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>App 2</h4>
            <p>App</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/3.jpg" data-gall="portfolioGallery" class="venobox" title="App 2"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-card">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/4.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>Card 2</h4>
            <p>Card</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/4.jpg" data-gall="portfolioGallery" class="venobox" title="Card 2"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-web">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/5.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>Web 2</h4>
            <p>Web</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/5.jpg" data-gall="portfolioGallery" class="venobox" title="Web 2"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-app">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/6.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>App 3</h4>
            <p>App</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/6.jpg" data-gall="portfolioGallery" class="venobox" title="App 3"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-card">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/7.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>Card 1</h4>
            <p>Card</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/7.jpg" data-gall="portfolioGallery" class="venobox" title="Card 1"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-card">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/8.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>Card 3</h4>
            <p>Card</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/8.jpg" data-gall="portfolioGallery" class="venobox" title="Card 3"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

      <div class="col-lg-4 col-md-6 portfolio-item filter-web">
        <div class="portfolio-wrap">
          <img src="static/assets/img/portfolio/9.jpg" class="img-fluid" alt="">
          <div class="portfolio-info">
            <h4>Web 3</h4>
            <p>Web</p>
            <div class="portfolio-links">
              <a href="static/assets/img/portfolio/9.jpg" data-gall="portfolioGallery" class="venobox" title="Web 3"><i class="icofont-eye"></i></a>
              <a href="#" title="More Details"><i class="icofont-external-link"></i></a>
            </div>
          </div>
        </div>
      </div>

    </div>

  </div>
</section><!-- End Our Portfolio Section -->

<!-- ======= Our Team Section ======= -->
<section id="team" class="team">
  <div class="container">

    <div class="section-title">
      <h2>Our Team</h2>
      <p>Magnam dolores commodi suscipit. Necessitatibus eius consequatur ex aliquid fuga eum quidem.</p>
    </div>

    <div class="row">



      <div class="col-xl-3 col-lg-4 col-md-6" data-aos="fade-up" data-aos-delay="200">
        <div class="member">
          <div class="pic"><img src="static/assets/img/team/team-3.jpg" class="img-fluid" alt=""></div>
          <div class="member-info">
            <h4>xiangbo zhu</h4>
            <span>队长</span>

          </div>
        </div>
      </div>

      <div class="col-xl-3 col-lg-4 col-md-6" data-aos="fade-up" data-aos-delay="300">
        <div class="member">
          <div class="pic"><img src="static/assets/img/team/team-4.jpg" class="img-fluid" alt=""></div>
          <div class="member-info">
            <h4>Amanda Jepson</h4>
            <span>贴身妹子</span>

          </div>
        </div>
      </div>

    </div>

  </div>
</section><!-- End Our Team Section -->

<!-- ======= Frequently Asked Questions Section ======= -->


<!-- ======= Contact Us Section ======= -->
<section id="contact" class="contact">
  <div class="container">

    <div class="section-title">
      <h2>Contact Us</h2>
    </div>

    <div class="row">

      <div class="col-lg-6 d-flex align-items-stretch" data-aos="fade-up">
        <div class="info-box">
          <i class="bx bx-map"></i>
          <h3>Address</h3>
          <p>江大长山校区文理大楼数据分析实验室</p>
        </div>
      </div>

      <div class="col-lg-3 d-flex align-items-stretch" data-aos="fade-up" data-aos-delay="100">
        <div class="info-box">
          <i class="bx bx-envelope"></i>
          <h3>Email Us</h3>
          <p>869676614.com<br>10086.com</p>
        </div>
      </div>

      <div class="col-lg-3 d-flex align-items-stretch" data-aos="fade-up" data-aos-delay="200">
        <div class="info-box ">
          <i class="bx bx-phone-call"></i>
          <h3>Call Us</h3>
          <p>17836925032<br>17851006312</p>
        </div>
      </div>





  </div>
</section><!-- End Contact Us Section -->

  <div class="container">

  </div>


  <div class="copyright">
    &copy; Copyright <strong><span>Mamba</span></strong>. All Rights Reserved
  </div>
  <div class="credits">
    <!-- All the links in the footer should remain intact. -->
    <!-- You can delete the links only if you purchased the pro version. -->
    <!-- Licensing information: https://bootstrapmade.com/license/ -->
    <!-- Purchase the pro version with working PHP/AJAX contact form: https://bootstrapmade.com/mamba-one-page-bootstrap-template-free/ -->
    Designed by <a href="https://bootstrapmade.com/">BootstrapMade</a>
  </div>

qujian.html

其余部分不再显示，只显示主要部分

    <div class="section-title">
      <h2>比特币数据展示</h2>

    </div>


    <!-- 为 ECharts 准备一个具备大小（宽高）的 DOM -->
    <div id="main" style="width : 700px ;height:800px;"></div>
      <script type="text/javascript">
        var dom = document.getElementById("main");
        var myChart = echarts.init(dom);
        var app = {};
        option = null;

option = {
title: {
text: ‘比特币价格饼图’,
subtext: ‘前15位’,
left: ‘center’
},
tooltip: {
trigger: ‘item’,
formatter: ‘{a}
{b} : {c} ({d}%)’
},
legend: {
orient: ‘vertical’,
left: ‘left’,
data: [{{ num[0]|tojson }}, {{ num[1]|tojson }},{{ num[2]|tojson }},{{ num[3]|tojson }}, {{ num[4]|tojson }},{{ num[5]|tojson }},{{ num[6]|tojson }},{{ num[7]|tojson }},{{ num[8]|tojson }},{{ num[9]|tojson }},
{{ num[10]|tojson }},{{ num[11]|tojson }},{{ num[12]|tojson }},{{ num[13]|tojson }},{{ num[14]|tojson }}]
},
series: [
{
name: ‘访问来源’,
type: ‘pie’,
radius: ‘55%’,
center: [‘50%’, ‘60%’],
data: [
{value: {{ sum[0]|tojson }}, name: {{ num[0]|tojson }}},
{value: {{ sum[1]|tojson }}, name: {{ num[1]|tojson }}},
{value: {{ sum[2]|tojson }}, name: {{ num[2]|tojson }}},
{value: {{ sum[3]|tojson }}, name: {{ num[3]|tojson }}},
{value: {{ sum[4]|tojson }}, name: {{ num[4]|tojson }}},
{value: {{ sum[5]|tojson }}, name: {{ num[5]|tojson }}},
{value: {{ sum[6]|tojson }}, name: {{ num[6]|tojson }}},
{value: {{ sum[7]|tojson }}, name: {{ num[7]|tojson }}},
{value: {{ sum[8]|tojson }}, name: {{ num[8]|tojson }}},
{value: {{ sum[9]|tojson }}, name: {{ num[9]|tojson }}},
{value: {{ sum[10]|tojson }}, name: {{ num[10]|tojson }}},
{value: {{ sum[11]|tojson }}, name: {{ num[11]|tojson }}},
{value: {{ sum[12]|tojson }}, name: {{ num[12]|tojson }}},
{value: {{ sum[13]|tojson }}, name: {{ num[13]|tojson }}},
{value: {{ sum[14]|tojson }}, name: {{ num[14]|tojson }}}
],

        emphasis: {
            itemStyle: {
                shadowBlur: 10,
                shadowOffsetX: 0,
                shadowColor: 'rgba(0, 0, 0, 0.5)'
            }
        }
    }
]

};
if (option && typeof option === “object”) {
myChart.setOption(option, true);
}

  </div>

  </div>
</section><!-- End Counts Section -->

  </div>
</section><!-- End Our Team Section -->

sandian.html

<div class="container">

    <div class="section-title">
      <h2>比特币数据展示</h2>

    </div>


    <!-- 为 ECharts 准备一个具备大小（宽高）的 DOM -->
    <div id="main" style="width : 1000px ;height:800px;"></div>
      <script type="text/javascript">
        var dom = document.getElementById("main");
        var myChart = echarts.init(dom);
        var app = {};
        option = null;

var data = [[1,{{ sum[0]|tojson }},{{ yum[0]|tojson }},{{ num[0]|tojson }}],
[2,{{ sum[1]|tojson }},{{ yum[1]|tojson }},{{ num[1]|tojson }}],
[3,{{ sum[2]|tojson }},{{ yum[2]|tojson }},{{ num[2]|tojson }}],
[4,{{ sum[3]|tojson }},{{ yum[3]|tojson }},{{ num[3]|tojson }}],
[5,{{ sum[4]|tojson }},{{ yum[4]|tojson }},{{ num[4]|tojson }}],
[6,{{ sum[5]|tojson }},{{ yum[5]|tojson }},{{ num[5]|tojson }}],
[7,{{ sum[6]|tojson }},{{ yum[6]|tojson }},{{ num[6]|tojson }}],
[8,{{ sum[7]|tojson }},{{ yum[7]|tojson }},{{ num[7]|tojson }}],
[9,{{ sum[8]|tojson }},{{ yum[8]|tojson }},{{ num[8]|tojson }}],
[10,{{ sum[9]|tojson }},{{ yum[9]|tojson }},{{ num[9]|tojson }}],
[11,{{ sum[10]|tojson }},{{ yum[10]|tojson }},{{ num[10]|tojson }}],
[12,{{ sum[11]|tojson }},{{ yum[11]|tojson }},{{ num[11]|tojson }}],
[13,{{ sum[12]|tojson }},{{ yum[12]|tojson }},{{ num[12]|tojson }}],
[14,{{ sum[13]|tojson }},{{ yum[13]|tojson }},{{ num[13]|tojson }}],
[15,{{ sum[14]|tojson }},{{ yum[14]|tojson }},{{ num[14]|tojson }}],
[16,{{ sum[15]|tojson }},{{ yum[15]|tojson }},{{ num[15]|tojson }}],
[17,{{ sum[16]|tojson }},{{ yum[16]|tojson }},{{ num[16]|tojson }}],
[18,{{ sum[17]|tojson }},{{ yum[17]|tojson }},{{ num[17]|tojson }}],
[19,{{ sum[18]|tojson }},{{ yum[18]|tojson }},{{ num[18]|tojson }}],
[20,{{ sum[19]|tojson }},{{ yum[19]|tojson }},{{ num[19]|tojson }}],
[21,{{ sum[20]|tojson }},{{ yum[20]|tojson }},{{ num[20]|tojson }}],
[22,{{ sum[21]|tojson }},{{ yum[21]|tojson }},{{ num[21]|tojson }}],
[23,{{ sum[22]|tojson }},{{ yum[22]|tojson }},{{ num[22]|tojson }}],
[24,{{ sum[23]|tojson }},{{ yum[23]|tojson }},{{ num[23]|tojson }}],
[25,{{ sum[24]|tojson }},{{ yum[24]|tojson }},{{ num[24]|tojson }}],
[26,{{ sum[25]|tojson }},{{ yum[25]|tojson }},{{ num[25]|tojson }}],
[27,{{ sum[26]|tojson }},{{ yum[26]|tojson }},{{ num[26]|tojson }}],
[28,{{ sum[27]|tojson }},{{ yum[27]|tojson }},{{ num[27]|tojson }}],
[29,{{ sum[28]|tojson }},{{ yum[28]|tojson }},{{ num[28]|tojson }}],
[30,{{ sum[29]|tojson }},{{ yum[29]|tojson }},{{ num[29]|tojson }}]

],

option = {
backgroundColor: new echarts.graphic.RadialGradient(0.3, 0.3, 0.8, [{
offset: 0,
color: ‘#f7f8fa’
}, {
offset: 1,
color: ‘#cdd0d5’
}]),
title: {
text: ‘排名前五十市值与涨跌幅关系’
},
legend: {
right: 10,
data: [‘1’, ‘2’]
},
xAxis: {
itemStyle: {
normal: {
label: {
show: true,
positiong: ‘top’,
formatter: ‘{c}%’
}
}
},
splitLine: {
lineStyle: {
type: ‘dashed’
}
}
},
yAxis: {
axisLabel: {
formatter: ‘{value} %’
},
splitLine: {
lineStyle: {
type: ‘dashed’
}
},
scale: true

},
series: [{
    name: '-',
    data: data,
    type: 'scatter',
    symbolSize: function (data) {
        return Math.sqrt(data[2]) ;
    },
    emphasis: {
        label: {
            show: true,
            formatter: function (param) {
                return param.data[3];
            },
            position: 'top'
        }
    },
    itemStyle: {
        shadowBlur: 10,
        shadowColor: 'rgba(120, 36, 50, 0.5)',
        shadowOffsetY: 5,
        color: new echarts.graphic.RadialGradient(0.4, 0.3, 1, [{
            offset: 0,
            color: 'rgb(251, 118, 123)'
        }, {
            offset: 1,
            color: 'rgb(204, 46, 72)'
        }])
    }
}]

}

        if (option && typeof option === "object") {
            myChart.setOption(option, true);
        }
               </script>

  </div>

  </div>
</section><!-- End Counts Section -->

  </div>
</section><!-- End Our Team Section -->

shuju.html

<section class="counts section-bg">
  <div class="container">


      <table class="table table_striped">
          <tr>
                <td>排名</td>
                <td>简称</td>
                <td>全称</td>
                <td>当前价格</td>
                <td>24小时涨跌幅</td>
                <td>交易额</td>
                <td>市值</td>
          </tr>

          {% for movie in movies %}
            <tr>
                <td>{{ movie[0] }}</td>
                <td>

                    {{ movie[1] }}

                </td>
                <td>{{ movie[2] }}</td>
                <td>{{ movie[3] }}</td>
                <td>

                    {{ movie[4] }}

                </td>
                <td>{{ movie[5] }}</td>
                <td>{{ movie[6] }}</td>
          </tr>
          {% endfor %}
      </table>


  </div>
</section><!-- End Counts Section -->

  </div>
</section><!-- End Our Team Section -->

shuliang.html

<div class="container">

    <div class="section-title">
      <h2>比特币数据展示</h2>

    </div>


    <!-- 为 ECharts 准备一个具备大小（宽高）的 DOM -->
    <div id="main" style="width : 1000px ;height:800px;"></div>
      <script type="text/javascript">
        var dom = document.getElementById("main");
        var myChart = echarts.init(dom);
        var app = {};

option = {
color: [‘#3398DB’],
tooltip: {
trigger: ‘axis’,
axisPointer: { // 坐标轴指示器，坐标轴触发有效
type: ‘shadow’ // 默认为直线，可选为：‘line’ | ‘shadow’
}
},
grid: {
left: ‘3%’,
right: ‘4%’,
bottom: ‘3%’,
containLabel: true
},
xAxis: [
{
type: ‘category’,
data: [‘500亿-1000亿’, ‘100亿-500亿’, ‘1亿-100亿’, ‘1000万-9999万’, ‘100万-1000万’,‘10万-100万’,‘1万-10万’],
axisTick: {
alignWithLabel: true
}
}
],
yAxis: [
{
type: ‘value’
}
],
series: [
{
name: ‘数据’,
type: ‘bar’,
barWidth: ‘60%’,
data: [{{ q }}, {{ w }}, {{ e }}, {{ y }}, {{ r }}, {{ u }}, {{ t }},]
}
]
};

        if (option && typeof option === "object") {
            myChart.setOption(option, true);
        }
               </script>

  </div>

  </div>
</section><!-- End Counts Section -->

  </div>
</section><!-- End Our Team Section -->

zhangdie.html

    <div class="section-title">
      <h2>比特币数据展示</h2>

    </div>


    <!-- 为 ECharts 准备一个具备大小（宽高）的 DOM -->
    <div id="main" style="width: 1000px ;height:750px;"></div>
      <script type="text/javascript">
        var dom = document.getElementById("main");
        var myChart = echarts.init(dom);
        var app = {};
        option = null;

option = {
tooltip: {
trigger: ‘axis’,
position: function (pt) {
return [pt[0], ‘10%’];
}
},
title: {
left: ‘center’,
text: ‘排名前七十比特币市值涨跌图’,
},
toolbox: {
feature: {
dataZoom: {
yAxisIndex: ‘none’
},
restore: {},
saveAsImage: {}
}
},
xAxis: {
type: ‘category’,
boundaryGap: false,
data: {{ num|tojson }}
},
yAxis: {
axisLabel: {
formatter: ‘{value} %’
},
type: ‘value’,
boundaryGap: [0, ‘100%’]
},
dataZoom: [{
type: ‘inside’,
start: 0,
end: 10
}, {
start: 0,
end: 10,
handleIcon: ‘M10.7,11.9v-1.3H9.3v1.3c-4.9,0.3-8.8,4.4-8.8,9.4c0,5,3.9,9.1,8.8,9.4v1.3h1.3v-1.3c4.9-0.3,8.8-4.4,8.8-9.4C19.5,16.3,15.6,12.2,10.7,11.9z M13.3,24.4H6.7V23h6.6V24.4z M13.3,19.6H6.7v-1.4h6.6V19.6z’,
handleSize: ‘80%’,
handleStyle: {
color: ‘#fff’,
shadowBlur: 3,
shadowColor: ‘rgba(0, 0, 0, 0.6)’,
shadowOffsetX: 2,
shadowOffsetY: 2
}
}],
series: [
{
name: ‘数据’,
type: ‘line’,
smooth: true,
symbol: ‘none’,
sampling: ‘average’,
itemStyle: {
color: ‘rgb(255, 70, 131)’
},
areaStyle: {
color: new echarts.graphic.LinearGradient(0, 0, 0, 1, [{
offset: 0,
color: ‘rgb(255, 158, 68)’
}, {
offset: 1,
color: ‘rgb(255, 70, 131)’
}])
},
data: {{ sum|tojson }}
}
]
};

        ;
        if (option && typeof option === "object") {
            myChart.setOption(option, true);
        }
               </script>

  </div>

wordcloud.html

    <div class="row no-gutters">
      <div class="col-lg-6 video-box">
        <img src="static/assets/234.jpg" class="img-fluid" alt="">

      </div>

      <div class="col-lg-6 d-flex flex-column justify-content-center about-content">

        <div class="section-title">
          <h2>词云</h2>
          <p>采用比特币的名称来制作图云，当中network， 币，比特，coin，chain等词出现的频率很高，说明了比特币的命名与本身所包含的意义相关</p>
        </div>

        <div class="icon-box" data-aos="fade-up" data-aos-delay="100">
          <div class="icon"><i class="bx bx-fingerprint"></i></div>
          <h4 class="title"><a href="">Lorem Ipsum</a></h4>
          <p class="description">222</p>
        </div>



      </div>
    </div>

  </div>
</section><!-- End About Us Section -->

源代码可到微信公众号"一团追梦喵"回复"python爬虫及其可视化"获取

织雪成纱
关注
python 爬虫及数据可视化展示
m0_54861649的博客
06-12 5315
数据库数据 网页源码，由于网页源码过多，只放一页 网页效果 网页的免费模板很多，可以挑选自己喜欢的进行修改，并插入图表等。 词云图片制作，本项目采用电影的简介制作 词云图展示：...
Python大作业——爬虫+可视化+数据分析+数据库（简介篇）
m0_67402774的博客
06-10 2497
期末将近，python也要结课了，老师要求我们写一个关于爬虫的程序作为大作业单纯的爬虫自然没有意思，那我们肯定需要将爬取到的数据进行展示以及分析处理由于自己自学了数据库方面的内容，所以也尝试着将数据库结合到该程序中于是就诞生了这样一个类似音乐播放器的应用程序以下为每一部分内容的对应博客地址：Python大作业——爬虫+可视化+数据分析+数据库（爬虫篇）Python大作业——爬虫+可视化+数据分析+数据库（可视化篇） Python大作业——爬虫+可视化+数据分析+数据库（数据分析篇）Python大作业——爬虫
Python实现可视化界面多线程豆瓣电影信息爬虫，并绘制统计图分析结果
kuronekonano的博客
01-15 6976
实现时使用图形界面、多线程、文件操作、数据库编程、网络编程、统计绘图六项技术。 1. 数据采集 （1）用wxPython实现GUI界面，包括登录界面、爬虫界面。爬虫界面上包含： 1）复选框：选择网站页面上要爬取的元素,包括电影名、评论、导演、主演、论坛讨论、电影别名； 2）下拉列表：选择开启几个多线程进行爬虫，选择爬取电影类型，排序方式 3）scrolledtext：爬虫结果汇总，包括运行时间，爬...
Python爬虫以及数据可视化分析
热门推荐
三明治的博客
12-25 8万+
Python爬虫以及数据可视化分析之B站动漫排行榜信息爬取分析 简书地址：https://www.jianshu.com/u/40ac87350697 简单几步，通过Python对B站番剧排行数据进行爬取，并进行可视化分析 源码文件可以参考Github上传的项目：https://github.com/Lemon-Sheep/Py/tree/master 下面，我们开始吧！ PS: 作为Python爬虫初学者，如有不正确的地方，望各路大神不吝赐教[抱拳] 本项目将会对B站番剧排行的数据进行网页信息爬取以及
Python爬虫数据可视化
m0_74942241的博客
09-09 1640
导入需要的第三方库设置可以显示中文和改变字体爬取数据：此方法只适用于表格提取数据中的某一列将数据可视化为折线图完整代码如下最后展示的折线图。
python爬虫数据可视化_Python实现数据可视化，看如何监控你的爬虫
weixin_40002611的博客
11-20 471
好，开始今天的文章。今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载...
python爬虫数据可视化分析大作业
12-19
Python爬虫数据可视化分析大作业是一项综合性的任务，它涵盖了多个关键知识点，旨在利用Python编程语言获取网络数据，处理并进行有效的视觉呈现。这个作业主要涉及以下内容： 1. **Python爬虫技术**：Python是数据...
Python爬虫数据可视化分析大作业.zip
05-29
Python爬虫数据可视化分析大作业是一个综合性的项目，旨在教授如何使用Python进行网络爬虫、数据处理和数据可视化。在这个项目中，我们将关注以下几个关键知识点： 1. **Python爬虫**：Python是一种广泛用于Web抓取...
Python爬虫数据可视化分析大作业（下载即用）.zip
03-18
Python爬虫数据可视化分析大作业（下载即用）.zip个人97分的期末大作业，主要针对计算机相关专业的正在做课程设计和期末大作业的学生和需要项目实战练习的学习者。包含全部项目源码、该项目可以直接使用、项目都经过...
python爬虫数据可视化分析大作业.zip
06-12
在本项目中，"python爬虫数据可视化分析大作业.zip" 是一个综合性的学习资源，主要涉及了Python编程中的两个重要领域：网络爬虫（Web Scraping）和数据可视化（Data Visualization）。通过这个作业，我们可以深入...
Python可视化_爬虫可视化_python爬虫_python教程_python_
09-28
好不容易找到的爬虫可视化的教程 分享给大家
python爬虫与pyecharts数据可视化
最新发布
2401_85941756的博客
06-28 2305
又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来. 就像一只虫子在一幢楼里不知疲倦地爬来爬去.其实就是利用了这种爬虫技术, 每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。
python爬虫程序员工资-Python爬虫实战-数据可视化
weixin_37988176的博客
10-30 792
本文您将学到的东西包括：scrapy爬虫的设置requests（一个用来发送HTTP请求的简单库）BeautifulSoup（一个从HTML和XML中解析数据的库）MongoDB的用法MongoBooster可视化工具注意：很多人学Python过程中会遇到各种烦恼问题，没有人帮答疑容易放弃。为此小编建了个Python全栈免费答疑.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，不懂的问题有...
python爬虫数据可视化软件_python爬虫及数据可视化分析
weixin_35160923的博客
02-10 2066
1.前言本篇文章主要介绍python爬虫及对爬取的数据进行可视化分析，本次介绍所用的网站是(https://www.duanwenxue.com/jingdian/zheli/)2.数据爬取2.1定位到爬取数据打开我们要爬取的网页，右键选择检查，在窗口中单击左上角箭头，即可查看我们需要爬取的内容：2.2爬虫实现方法我们要爬取一个网页，首先我们需要向网页发送一个请求,然后用get方法抓取数据(例如我...
Python爬虫之selenium可视化爬虫！这样看着真舒服
爬遍所有网站
08-21 685
之所以把selenium爬虫称之为可视化爬虫 主要是相较于前面所提到的几种网页解析的爬虫方式 selenium爬虫主要是模拟人的点击操作 selenium驱动浏览器并进行操作的过程是可以观察到的 就类似于你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑 当然了，selenium也有无界面模式 快速入门 selenium基本介绍: selenium 是一套完整的web应用程序测试系统， 包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Con
python爬虫数据可视化
专注java二开部署
12-13 3022
另外，数据可视化也可以做得更复杂和深入，比如使用不同的图形类型、添加颜色和标签、改变轴的尺度等。你还可以根据你的需求和目标来创建更复杂的图形，比如散点图、箱线图、桑基图等。你还可以根据你的需求和目标来创建更复杂的图形，比如散点图、箱线图、桑基图等。你还可以根据你的需求和目标来创建更复杂的图形，比如散点图、箱线图、桑基图等。你还可以根据你的需求和目标来创建更复杂的图形，比如热力图、桑基图等。好的，让我们继续探索一些更复杂的数据可视化应用。好的，让我们继续探索一些更高级的数据可视化应用。
python爬虫和数据可视化,Python数据分析可视化
wenangou的博客
09-24 2842
2、比起MATLAB、R语言等其他主要用于数据分析语言，python语言功能更加健全Python具有强大的编程能力，这种编程语言不同于R或者matlab，python有些非常强大的数据分析能力，并且还可以利用Python进行爬虫，写游戏，以及自动化运维，在这些领域中有着很广泛的应用，这些优点就使得一种技术去解决所有的业务服务问题，这就充分的体现的Python有利于各个业务之间的融合。其次就可以学习一些基本的爬虫，进行数据采集，当然也有很多爬虫工具，直接使用即可。Numpy是python科学核算的根底包。
Python爬虫与可视化分析
2201_75735270的博客
05-29 3042
Python爬虫与可视化分析是当今数据科学领域中最热门的技术之一。Python作为一种高效且易于学习的编程语言，具有丰富的库和工具，使得Python爬虫和可视化分析技术应用广泛。
Python爬虫可视化教程分享
资源摘要信息:"Python可视化_爬虫可视化_python爬虫_python教程_python" 知识点一：Python可视化 Python可视化是利用Python编程语言及其各种科学计算库来进行数据可视化的方法。Python的数据可视化能力十分强大，...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

织雪成纱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值