- 博客(10)
- 收藏
- 关注
RSS订阅原创 数据可视化 - Flask构建Web界面（一）
数据可视化 - Flask构建Web界面1. 库的准备from flask import Flask, render_template # flask网页需要的库import sqlite3 #2. 代码实现1. 主函数app = Flask(__name__)# 这一步即可完成基本网页的框架@app.route('/') # 定义路由def index(): return render_template("index.html") # 引入模板，index.html
2021-04-23 10:05:07
3942
原创 数据可视化 - EChart初识（1）
% 更换到Au20_OPT_1000文件夹下global net Filenames=dir('*.xyz'); Num = length(Filenames); Result = struct; h = waitbar(0,'waiting...');for i = 1:Num waitbar(i/Num,h); delimiter = ' '; filename = Filenames(i).name; Result(i).name = filename;
2021-04-23 09:06:07
660
原创 数据可视化 - 词云WordCloud（1）
数据可视化 - WordCloud（实例1）1. 调用库函数import jieba # 分词from matplotlib import pyplot as plt # 科学绘图，直接生成图片from wordcloud import WordCloud # 词云from PIL import Image # 图片处理import numpy as np # 矩阵运算2. 主函数f = open("text.txt", "r", encoding="utf-8") # 在根目
2021-04-07 17:32:24
413
1
原创 Python爬虫入门记（7）- 异步爬取 - 2（实例1）
七、异步爬取 - 2（实例）1. 调用库函数import jsonimport urllib.request, urllib.errorimport reimport xlwt2. 定义主函数def main(): global data1 # 定义全局变量 url = "https://search.51job.com/list/060000,000000,0000,00,9,99,python,2,2.html?lang=c&postchannel=0000&a
2021-04-07 16:39:46
364
1
原创 Python爬虫入门记（6）- 异步爬取 - 1（概念）
六、异步爬取1. 异步加载异步加载的数据，简单来讲，就是网址不变化，内容变多或变少，类似有些评论区翻页，百度地图地点的显示，百度图片不停的往下拉等，以下是部分典型的例子：1. 人民网:http://liuyan.people.com.cn/threads/list?fid=5062&position=12. Ｂ站评论区:https://www.bilibili.com/video/BV1Mf4y197cj3. 百度地图:https://map.baidu.com4. 网易邮箱注册:ht
2021-04-06 16:46:43
494
原创 Python爬虫入门记（5）- 批量下载图片（正则表达式，以百度文库为例）
五、批量下载图片1. 调用库函数【通过链接下载图片有多种方法，本文采用其中一种】from builtins import len, hasattr, range # 提供对Python的“内置”标识符的直接访问import re # 正则表达式import urllib.request, urllib.error # 提供了一系列用于操作URL的功能import requests # Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源
2021-04-04 13:52:01
353
原创 Python爬虫入门记（4）- 保存数据（SQLite数据库）
一、保存数据（SQLite数据库）1. 调用库函数库函数的下载请见 爬虫入门记（2）from builtins import len, hasattr, range # 提供对Python的“内置”标识符的直接访问from bs4 import BeautifulSoup # 解析网页数据import re # 正则表达式import urllib.request, urllib.error # 提供了一系列用于操作URL的功能import sqlite3 # 与SQLite相关的库
2021-04-04 11:35:11
1601
原创 Python爬虫入门记（3）- 保存数据（Excel表格）
一、保存数据（Excel表格）1. 调用库函数库函数的下载请见 爬虫入门记（2）from builtins import len, hasattr, range # 提供对Python的“内置”标识符的直接访问from bs4 import BeautifulSoup # 解析网页数据import re # 正则表达式import urllib.request, urllib.error # 提供了一系列用于操作URL的功能import xlwt # 与Excel相关的库函数2.
2021-04-01 21:44:50
1567
原创 Python爬虫入门记（2）- 网络代理（伪装）
二、用户代理（伪装）1. 代码# 得到指定一个URL的网页内容def askURL(url): # 用户代理，报时告诉豆瓣服务器我们是什么浏览器（伪装）(告诉浏览器我们可以接受什么信息） # 模拟头部，内容可以更多，下面会说head的内容由来 head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.438
2021-03-31 00:00:45
297
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人