- 博客(23)
- 收藏
- 关注
RSS订阅原创 多线程及普通方法爬取斗图啦
（缺流程图）1.普通方法（xpath）import requestsfrom lxml import etreefrom urllib import requestimport randomimport timefirst = time.time()def parse_html(text): html = etree.HTML(text) pics = html.xpath("//div[@class='page-content text-center']//img[@c
2020-10-29 08:52:14
11970
原创 一道5毛钱的题
某日上课，高数老师出一道三重积分题，悬赏五毛钱。今日无聊，特此总结。原题目：悬赏题：先利用python画个图：在这里插入代码片原题做法：方法1：利用柱面坐标...
2020-10-23 21:57:10
301
原创 day2：离散类模型--层次分析模型及循环排名模型（排名模型待补充）
前提知识1.矩阵的秩小学的话来解释就是使用n个方程求n个未知数的解时，必须保证每一个方程都是“有效的”，这个“有效的”方程个数便是每个方程系数所成矩阵的秩。eg：2.特征值与特征向量3....
2020-10-23 21:56:56
1352
原创 day3：多元统计模型
华中农的多元统计->西北工线性回归+指标合成的客观权重方法（第10章）预备知识1.什么是统计？1.1基本概念随机事件：在一次实验中，所有可能发生的“结果”，称为随机事件随机变量：能够表达随机事件的变量，称为随机变量（什么时候能够表达呢？当变量与数字建立关系后）概率密度（概率分布密度）：一个用来表达随机事件发生的概率的函数总体：在试验统计中，研究对象的全体所构成的集合称为总体（可分为有限总体与无限总体）个体：总体中每一个研究对象称为个体总体容量：总体所包含的个体数称为总体容量样本：按
2020-10-23 21:56:43
1157
原创 day4：非参数统计及其检验方法（无sas代码）
1.为什么需要非参数统计？很多实际问题事先并不知道符合什么分布也没有什么大样本数据，那么我们应该如何获得信息呢？就是通过非参数统计，进行推断，然后得到信息。2.非参数统计的概念与参数统计的对比分析添加链接描述3.非参数统计的检验方法3.1相关性检验检验得出的相关性系数是否可信补充知识：非参数检验方法概述：一种与总体分布状况无关但可以对总体进行检验的方法，它不依赖于总体的分布，主要是应用于被研究对象未知分布的情况下，且无需对总体分布的参数（均值，标准差等等）进行统计推断。检验方式：1.利用样
2020-10-23 21:56:30
1595
原创 day5：优化建模（待补充）
华中农的优化模型->西北工业的优化题1.概述最优化方法：在一系列客观或主观限制条件下，寻求合理分配有限资源使所关注的某个或者多个指标达到最大（或者最小）的数学理论和方法，是运筹学里一个十分重要的分支。（寻找使利益最大化的方法）1.1最优化（运筹学）模型的一般形式1.1.1三要素决策变量（与问题求解的难度相关），目标函数，约束条件（等约束与不等约束）1.1.2步骤1.设决策变量（什么是决策变量？–>影响目标的因素，常用0-1来设立决策变量）2.找并写出约束条件（st）3.写出模型
2020-10-23 21:56:12
205
原创 11A题讨论学习（易？）
题目：答：（1）利用matlab画出地形图与密度图（2）通过第一问得到的区域，分析该区域可产生污染的因素（3）核心思想：比较密度来确认污染源位置通过了解元素可知，有些元素不易传递到其他区域，而有些元素易传递，故将元素分类讨论然后重点对比易传递元素的地区，可利用累积贡献率的思想，算出每个地区的比例，当达到某值时，认定为污染源（4）演变，最主要是随着时间的变化，故需要收集该地区多年水源元素，地形等等因素变换，进行时间序列分析，然后建模所遇到的问题：1.聚类分析的应用场景https://my.
2020-10-23 21:55:51
138
原创 day7：图论模型（很多知识点不懂）
预备知识1.有向图与无向图“向”表示方向，简而言之，有向图就是有方向的图，无向图就是无方向的图https://www.cnblogs.com/schips/p/10632250.html2.算法复杂度（？）3.树的概念连通且不含圈的无向图称为树，常用T表示。且树中的边称为树枝，树中度为1的顶点称为树叶3.1生成树最短路算法1.Dijkstra算法应用问题：求出指定两点之间最短路算法复杂度：O(n^2)步骤：2.Floyd算法应用问题：求出任意两点之间的最短路（求出的是一个最短
2020-10-23 21:55:40
208
原创 day9：微分方程模型（无模型具体代码）
华中农的微分方程->西北工的微分方程模型（第7章7.2+7.3）1.微分方程matlab基础求解1.1求解析解%求微分方程（组）解析解的命令dsolve('方程1','方程2',...,'方程n','初始条件','自变量')%自变量可以指定也可以由系统规则选定为缺省例子：待补充1.2求数值解（求解的近似值）[t,x]=solver('',ts,x0.options)%t为自变量，x为函数值，f为待解的函数文件名，ts=[t0,tf]t0为自变量的初值，tf为终值，x0为函数初值，o
2020-10-23 21:55:26
500
原创 day10：排队论模型
补充：poisson就是泊松分布（https://baike.baidu.com/item/%E6%B3%8A%E6%9D%BE%E5%88%86%E5%B8%83/1442110?fr=aladdin）k阶Erlang分布就是埃尔朗分布（https://baike.baidu.com/item/%E5%9F%83%E5%B0%94%E6%9C%97%E5%88%86%E5%B8%83/19127136?fr=aladdin）定长分布（？）负指数分布（https://baike.baidu.com/i
2020-10-23 21:55:13
815
原创 解决cumcm17问题的代码记录（待改正）
使用到的模块有pyecharts,pandas,selenium,time,Interval,re,requests,random# 所有数据的可视化# 加载pyechartsfrom pyecharts import Geo, Styleimport pandas as pd# 导入excel表df = pd.read_excel('处理1.xlsx')df.head()# 导入自定义的地点经纬度geo_cities_coords = {df.iloc[i]['任务号码']: [df.
2020-10-23 21:54:58
178
原创 day6：时间序列模型
预备知识1.什么是时间序列？将同一统计指标的数值按照发生的时间顺序排列而成的数列2.两种平稳严平稳：序列所有的统计性质不会随着时间的推移而发生变化式子表示：宽平稳：保证序列低阶矩的平稳性意义：1.极大减少了随机变量的个数，增加了待估变量的样本容量2.对历史数据进行参数估计结果比较稳定，可以直接用于对未来时序数据的预测（简化难度，提高精度）3.白噪声（随机序列）定义序列里的任两个数没有信息传递，这样就称为随机序列4.拖尾与截尾拖尾即自相关系数图单调收敛到零（matlab：autoco
2020-10-23 21:54:22
279
原创 day1：基本建模步骤及matlab与lingo的基本操作
1.基本建模步骤各种教程都喜欢使用的包汤圆例子来引出建模步骤在此也如是。题目：第一步：问题分析（用数学来描述问题）1.这是一个定性问题，也就是多包几个还是少包几个（对比定量问题，即几个量确定不变的问题）2.数学上是面积与体积之间建立一个关系圆面积为S的皮，可以包V体积的馅（选择少包几个），若平均分n个皮，圆面积为s，可以包v体积的馅（选择多包几个），通过比较V与nv之间的大小便可知多包几个还是少包几个。一些解释：问题是要求我们在馅多了，面不变的情况下求出两者最佳配比方案，所以比较是为了判断在
2020-10-23 21:54:05
1558
原创 day8：模糊数学
1.模糊数学概述1.1量的分类分为确定性的量与不确定性的量常见确定性的量：经典数学（几何，代数）1+1=2常见不确定性的量：1.随机性（概率统计，随机过程）2.灰性（灰色系统）3.模糊性（模糊数学）1.2模型性的“定义”难以用确定的语言去准确的表达一件事物（只能大概的描述）2.模糊集及其表示2.1经典集合与特征函数2.2模糊集合与隶属函数模糊集合的定义：用来表达模糊性概念的集合2.3经典集合与模糊集合的区别经典集合是用一个准确（只有是与不是）的“方式”来将事物放在一起模糊
2020-10-23 21:53:04
3136
原创 数据结构与算法学习记录（python）
一.变位词判断问题变位词是指相同字母的不同排列方式。1.逐字检查法（直接比较）def anagramSolution_first(s1,s2): n = 0 if len(s1) == len(s2): for i in s1: for j in s2: if i == j: n += 1 if n == len(s1): result
2020-10-15 20:08:26
108
原创 爬取中国天气网的数据（城市，最高温，最低温）
1.使用正则import requestsimport reimport randomimport csvimport time# 设置UA与IPheaders_choice = [{'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50safari 5.1 – Windows'
2020-09-01 17:28:39
6759
原创 爬取豆瓣电影信息且写入csv文件
import reimport requestsimport randombase_url = 'https://movie.douban.com/top250'# 随机设置UA与IPheaders_choice = [{'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50safa
2020-08-14 17:40:14
34061
原创 requests.exceptions.ChunkedEncodingError: (“Connection broken: ConnectionResetError(10054, ‘远程主机强迫关闭
requests.exceptions.ChunkedEncodingError: (“Connection broken: ConnectionResetError(10054, ‘远程主机强迫关闭了一个现有的连接。’, None, 10054, None)”, ConnectionResetError(10054, ‘远程主机强迫关闭了一个现有的连接。’, None, 10054, None))爬取百度极光图片import reimport requestsimport timeimport
2020-08-10 21:41:51
4229
原创 爬虫学习记录4：正则表达式及re模块
一.简介1.1什么是正则表达式？1.正则表达式是处理字符串的强大工具2.使用一些特定方式用来表达对字符串的筛选3.是一种过滤逻辑1.2.为什么需要正则表达式？1.在内容过多时，为方便得到所需的内容，便出现了正则表达式2.表单验证（？）（邮箱、手机号等等）、爬虫时会使用到（在后面的练习中通过爬取猫眼电影排名前100来举例）二.正则表达式对python的支持2.1普通字符概念：字母、数字、下划线及无特殊定义的符号，都是普通字符。正则表达式中的普通字符，匹配时，只匹配与自身相同的一个字符。
2020-05-16 13:38:10
201
原创 爬虫学习记录3：request库基础用法
1.request库基础用法1.1get()及post()对比解析（发送请求）# 百度举例import requestsurl = 'https://www.baidu.com/'headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KH...
2020-05-03 23:16:14
723
原创 常见不可积积分
from sympy import *x = symbols('x')a = sin(x)/xb = exp(x**2)c = cos(x)/xd = sin(x**2)e = cos(x**2)f = x/ln(x)g = ln(x)/(x+1)A = integrate(a,x) # Si(x)-->超越函数B = integrate(b,x) # s...
2020-05-01 22:25:55
27322
3
原创 爬虫学习记录2：基础模块(urllib.request、urllib.parse)及简单练习
1.urllib.request()1.1版本及使用前提版本：python2：urllib2、urllibpython3：urllib.request(将python2中所有版本合并产生)ps:本文针对于python3使用前提：需先导入import urllib.request1.2基本使用方法import urllib.request# 1.urllib.request.ur...
2020-04-30 11:40:05
123
原创 爬虫学习记录1：通讯协议、网络模型、爬虫分类及常见概念
通讯协议、网络模型及分类1.通讯协议1.1端口若把一个ip地址比作一栋房子，那么端口就是进入这座房子的门。为了标识应用程序，所有出现了端口。不同的端口代表不同的应用程序，通过数字来对不同的端口进行标识(此为逻辑端口)。1.2数据通讯的步骤找到ip(定位)–>进入端口(传输数据)–>定义通讯规则(协议)1.3通讯协议定义：计算机通信网络中两台计算机共同遵守的规则国际组...
2020-04-28 12:00:22
364
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人