数据科学与人工智能笔记
文章平均质量分 72
数学建模和python数据科学库,爬虫,机器学习,深度学习等学习笔记
STL_CC
数据科学,数学建模,ACM,机器学习,边缘计算。
展开
-
2021年暑假数学建模模拟赛(赛题+数据+分析)
笔者所在学校耗时一个半月的数学建模培训总算告一段落了,期间有三次模拟赛,在这里分享出来供大家参考,可以用来自测,会附上自己建比较粗鄙的模型,供参考赛题Github:STL-CC/Mathematical-modeling-exercises题解第一次:数据恢复与归类2021年暑假数学建模第一次模拟赛:新冠疫情预测(插值,时间序列,微分方程建模)第二次:通信组网2021年暑假数学建模第二次模拟赛:无人机路径规划(现代智能优化算法)第三次:统计训练2021年暑假数学建模第三次模拟赛:全国各省人原创 2021-08-21 22:42:39 · 2752 阅读 · 0 评论 -
2021年暑假数学建模第三次模拟赛:全国各省人均消费分析与预测(很好的SPSS统计训练)
赛题分析这次的赛题完全可以全用SPSS来实现,以前一直目光狭隘,盯着MATLAB和python,经过这次训练赛,笔者意识到了SPSS的重要性读者可以拿它来练手,统计一直是数学建模里很重要的一个部分,但一直受到了忽视使用SPSS也应该是一项必会的技能另外笔者发现一个宝藏网站SPSSAU,为了避免广告嫌疑就不放链接了可以去淘宝搜一个一两天的会员在建模的时候使用,他可以给出详细的分析报表,适合非统计专业的小白做分析使用求解直接上论文里的分析啦,主要是使用的SPSS软件,只有一两个代码,附在下一原创 2021-08-21 22:04:29 · 3724 阅读 · 1 评论 -
2021年暑假数学建模第二次模拟赛:无人机路径规划(现代智能优化算法)
2021年暑假数学建模第二次模拟赛:无人机路径规划(现代智能优化算法)赛题题目细节真的很多,也很难,仔细看看吧,建议阅读详细文件,可以往下翻下载赛题思路问题一最终结果是一个661*621的表格的大网内的通信覆盖情况,直接对每一个点进行求解。让其与这16基站进行通讯。3种通讯方式和三种高度实际上是9个子问题,对每个子问题1.遍历每一个空中的点2.尝试连接基站x3.查询基站x是否支持通信方式dx,若不支持返回2,尝试下一个4.将该基站点转化为经纬度(问题中提供的经纬度是其高程图原创 2021-08-21 21:06:24 · 6459 阅读 · 2 评论 -
遗传算法求解无人机路径多目标规划问题(python实现)
问题描述前置背景该问题是笔者所在学校2021年数学建模的第二次训练赛的第二问问题一即有3种通信方式D1,D2,D3,他们在三个海拔高度3km,6km,9km的通信包络网存在一个661*621的网格地图中,地图由0和1组成,包络网可以见下图其中前缀D1代表采用D1通信方式,后缀3000代表其为在海拔3KM处的包络网问题二问题二是无人机航线规划多目标问题,总共有九架无人机,所以相当于有9个子问题如图从上到下依次是九架无人机在各自所能支持的通信方式和飞行海拔下的通信范围网,其中青色代表D1通原创 2021-08-10 15:32:46 · 9568 阅读 · 14 评论 -
2021年暑假数学建模第一次模拟赛:新冠疫情预测(插值,时间序列,微分方程建模)
2021年暑假数学建模第一次模拟赛:新冠疫情预测(插值,时间序列,微分方程建模)1.赛题处理数据是现代大数据时代的一项非常重要的工作,尤其数据的恢复和归类整理技术,更是关键与核心 。本题目附带一份残缺数据表(见附件 ),表中所提供的数据,是自去年新冠疫情爆发以来 ,直到今年 2月,某平台公布的部分国家(共 19 个国家,国家名已经隐去)的疫情数据 。为了 论文建模的需要 ,其中有些数据已经被特意删除, 数据表的第一行是对应国家大约人口。由于人工输入数据 的客观事实 ,不排除某些国家上报的数据滞后 ,使原创 2021-07-31 12:41:09 · 16602 阅读 · 5 评论 -
光谱分析预处理工具箱(一)总览
光谱分析预处理工具箱(一)总览本来一直想基于pyqt5写一个小小的光谱分析软件。集成搜索最佳预处理,GPU加速支持等。并想把AutoML技术用上,自动实现特征工程,机器学习模型搜索和超参数搜索,然后集成各种模型得出最后的模型,完全自动化只需少量人工干预。摘录关于AutoML,你想知道的都在这里!**自动机器学习(AutoML)**是将机器学习应用于现实问题的端到端流程自动化的过程。传统机器学习模型大致可分为以下四个部分:数据采集、数据预处理、优化、应用;其中数据预处理与模型优化部分往往需要具备专原创 2021-04-04 09:11:49 · 1181 阅读 · 3 评论 -
数据处理:应用Savitzky-Golay算法对数据进行平滑化处理
1原创 2020-07-10 00:16:47 · 5716 阅读 · 0 评论 -
数据分析:互联网、APP中用户IP数据的地理可视化
数据简介在当下互联网迅速发展的今天,每时每刻都会产生大量数据在常见的应用场景中,最常见莫过于IP数据了IP数据有利于我们统计用户的来源,使我们更好的进行业务,细分应用场景等在互联网背景下这些用户数据有着重要的价值那么我们怎么样来处理这些IP数据呢?IP地址的解析不多说了,笔者写了相关的文章,详见数据挖掘:使用python+requests结合高德+百度+腾讯地图API处理IP数据,获得IP地理位置信息基于IP的地理位置定位其实还是有不足的,有一些移动号码,他们的IP显示的是开户地的IP,但原创 2020-07-02 15:21:25 · 696 阅读 · 1 评论 -
数据挖掘:使用python+requests结合高德+百度+腾讯地图API处理IP数据,获得IP地理位置信息
简介利用IP得到地理位置信息在现在这样的信息化社会,人们在访问互联网时总会留下痕迹。其中最多的就是IP数据怎么样来利用IP数据来分析用户数据呢?其中最好挖掘的肯定非地理位置信息莫属了地理位置信息有很多用途,就比如现在新冠疫情在全球大肆传播,粗略追踪用户是否到过某些疫情高发地区等一般情况下,IP地址定位可以精确到市,这也很不错了高德IP定位API的优势本次应用笔者是采用高德开发者平台web应用api中的IP定位服务目前比较权威的IP数据库还有阿里云、淘宝IP地址库等以淘宝IP地址库为例,其最原创 2020-07-02 08:37:39 · 1422 阅读 · 0 评论 -
数据挖掘:使用python+pandas处理身份证号数据,获得对应省份籍贯、生日和性别
获取身份证行政区域代码笔者已经整理好了,并且已经预处理完毕链接:https://pan.baidu.com/s/1wa9LMEqzgkXdW6Gx4852hQ提取码:qe5x构建APPLY函数该函数最后会返回一个列表,分别包含籍贯、出生日期和性别def idto(idnum): idnum=idnum['身份证号'] if len(idnum)!=18:#检查身份证号码是否合法,因为有一些台胞证之类的 return [np.nan*3] area=int原创 2020-06-29 22:18:43 · 4843 阅读 · 1 评论 -
numpy.matrix.A1
等价于np.asarray(x).ravel()x = np.matrix(np.arange(12).reshape((3,4))); xmatrix([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]])x.getA1()array([ 0, 1, 2, ..., 9, 10, 11])Example from official site of numpy原创 2020-06-27 23:00:57 · 1077 阅读 · 0 评论 -
吴恩达机器学习编程作业与笔记(4)第5周:Neural Networks: Learning神经网络:学习
sigmoidGradient.m - Compute the gradient of the sigmoid functionfunction g = sigmoidGradient(z)%SIGMOIDGRADIENT returns the gradient of the sigmoid function%evaluated at z% g = SIGMOIDGRADIENT(z...原创 2020-04-27 11:07:42 · 360 阅读 · 0 评论 -
吴恩达机器学习编程作业与笔记(3)第4周:Neural Networks: Representation神经网络:表示
lrCostFunction.m - Logistic regression cost functionfunction [J, grad] = lrCostFunction(theta, X, y, lambda)%LRCOSTFUNCTION Compute cost and gradient for logistic regression with %regularization% ...原创 2020-04-27 11:01:39 · 256 阅读 · 0 评论 -
深度学习图形工作站环境安装与配置(5)用docker安装nextcloud实现文件管理,管理数据集
笔者实验室的图形工作站上有两块磁盘,一块是1TB的SSD固态硬盘,一块是4TB的机械硬盘,当然,操作系统装在那块固态硬盘上。在正常使用过程中,机械硬盘经常有空闲,为了不浪费资源,笔者将这块机械硬盘分位了两块,一块作为jupyter的工作目录,另一块作为nextcloud的...原创 2020-04-22 16:42:17 · 395 阅读 · 0 评论 -
吴恩达机器学习编程作业与笔记(2)第3周:Logistic Regression逻辑回归
编程作业plotData.mfunction plotData(X, y)%PLOTDATA Plots the data points X and y into a new figure % PLOTDATA(x,y) plots the data points with + for the positive examples% and o for the negative e...原创 2020-04-21 19:26:44 · 234 阅读 · 0 评论 -
深度学习图形工作站环境安装与配置(4)Tensorflow兼容性终极解决方案,用Docker安装多版本Tensorflow,Docker19.03以后版本安装Tensorflow-gpu
笔者实验室的图形工作站基于Ubuntu 18.04 LTS,按照官方给出的建议适配方案,适配最新的2.x版Tensorflow最合适,安装1.14版的tensorflow总是会出现各种奇奇怪怪的兼容性问题。而这台服务器使用的人很多,每个人所用的版本各不相同,为了更好的适应每个人的使用。笔者安装了docker版的tensorflow-gpu。它只需要安装基本的显卡驱动和docker以及nvidia-...原创 2020-04-19 13:18:53 · 954 阅读 · 0 评论 -
深度学习图形工作站环境安装与配置(3)Tensorflow-gpu安装各种坑,运行占显存不占CPU,提示找不到libraries,提示tf没有xx函数
笔者最近安装tensorflow遇到了各种坑,花了不少时间解决,这里总结一下,纪念被他折腾的那段时间⊙﹏⊙安装环境该篇文章是深度学习GPU工作站配置的系列文章之一,在上两篇文章中,笔者介绍了anaconda,jupyter,cuda,cudnn等各种基本运行条件,读者可以看看前面两篇文章深度学习图形工作站环境安装与配置(1)CUDA和cuDNN的安装深度学习图形工作站环境安装与配置(2)a...原创 2020-04-17 19:26:27 · 1228 阅读 · 0 评论 -
深度学习图形工作站环境安装与配置(2)anaconda的安装与配置和jupyterlab的部署,开机自启动
Anaconda的安装与配置第一步:安装Anacondatuna源似乎有些问题,而且版本比较老,可以去官网先获取下载链接,然后安装笔者以前写过类似的文章,可以参考参考Anaconda的安装,Jupyter notebook在64位linux部署并实现远程访问(以阿里云centos为例)sudo wget https://repo.anaconda.com/archive/Anaconda3...原创 2020-04-17 18:42:20 · 1134 阅读 · 2 评论 -
深度学习图形工作站环境安装与配置(1)CUDA和cuDNN的安装
介绍笔者的图形工作站基于Ubuntu 18.04,请先安装Ubuntu操作系统。推荐安装Ubuntu 18.04 LTS,LTS意味着Long Term Support,你可以在官网下载并刻录U盘安装。Ubuntu操作系统官网下载,可以看到该系统支持到2023年4月,是较为稳定的版本。显卡驱动的安装如果你确定你的显卡驱动被正确的安装了,可以跳过这一步在刚装好Ubuntu操作系统时,默认的显...原创 2020-04-13 13:54:20 · 1588 阅读 · 0 评论 -
吴恩达机器学习编程作业与笔记(1)第2周:Linear Regression 线性回归
如果还不知道怎么提交作业,不熟悉这门课程,请移步吴恩达机器学习编程作业与笔记(0)介绍:课程简介、学习资源及编程作业提交方法这里涉及到5个文件warmUpExercise.m这个是用来练手的,在代码区生成一个单位矩阵,即A=eye(5)即可function A = warmUpExercise()%WARMUPEXERCISE Example function in octave%...原创 2020-04-08 15:02:24 · 268 阅读 · 0 评论 -
吴恩达机器学习编程作业与笔记(0)介绍:课程简介、学习资源及编程作业提交方法
课程介绍该课程几乎被认为是机器学习基石,在国内有着极高的知名度,知乎上也有很多大神对这样的神课做出了总结,中国人对此可以称得上是“迷恋”。为何中国人迷恋吴恩达的机器学习课?作者吴恩达是斯坦福大学的客座教授,曾供职于谷歌无人驾驶车项目并担任首席科学家,后来也来到过百度,致力于百度大脑的研发。吴恩达被认为是中国人工智能领域最重要的外援之一,而他在Coursera上的机器学习课程则是其经典的代表作...原创 2020-04-08 12:39:04 · 903 阅读 · 1 评论 -
Anaconda的安装,Jupyter notebook在64位linux部署并实现远程访问(以阿里云centos为例)
介绍用过几次Jupyter notebook,感觉对初学者非常友好。在一些数据科学的应用场景中,这样的interactive的python解释器简直不要再好。相比于Ipython,Jupyter 的优点是其更强大而丰富的功能,并且其可以在web端访问,其中Jupyter notebook又更加适合笔者这样的初学者使用。当然,笔者下一步也会使用Jupter Lab,不过先以notebook入门。...原创 2020-04-02 23:59:46 · 604 阅读 · 0 评论 -
selenium实例:自动刷青马网课实现登陆 python实现自动登陆 利用pytesseract自动识别验证码并登录
准备工作首先得先安装好python,IDE,selenium,Firefox浏览器这里可以供参考Windows下的python的安装全步骤,分图详解Windows+Firefox(Chrome)+selenium+python配置并更改源(加快下载速度,不然很慢)安装相关的库pip install 相关库的名称即可一般来说,需要检查time,pytesseract,PIL等库是否被正...原创 2020-03-19 15:10:19 · 4365 阅读 · 2 评论 -
2020亲测可用selenium测试中flash的自动运行Firefox,Chrome
旧版Firefox才支持flash自动运行,55及以上版本不再支持flash,所以用老版本浏览器版本要和webdriver匹配这里有匹配的版本,链接失效了可以私信我链接:https://pan.baidu.com/s/1bP55-MByq8-6c35AQ7WKwA提取码:zjbl复制这段内容后打开百度网盘手机App,操作更方便哦记得加上下面这几行代码 opts = Fi...原创 2020-03-19 15:32:51 · 1030 阅读 · 0 评论 -
numpy翻转数组操作transpose,rollaxis,swapaxes,ndarray.T,numpy的轴与正方体
1原创 2020-03-13 12:33:25 · 831 阅读 · 0 评论 -
Numpy中的frombuffer,S1和S2的区别,前面的|的作用,二进制字符串
Numpy官网上的解释numpy.frombuffernumpy.frombuffer(buffer,dtype=float,count=-1,offset=0)Interpret a buffer as a 1-dimensional array.Parameters: buffer:buffer_like An object that expos...原创 2020-03-09 12:24:45 · 2711 阅读 · 1 评论 -
ACMer数学建模Python编程起步
笔者一建模小白,同时也是一名ACMer。寒假期间学完了数学建模所需的一些编程知识,磕磕碰碰渐渐入门。在此为想要参加数学建模的ACMer分享一些经验。该文该帖系笔者原创,笔者刚入数学建模时,对于数学建模应该怎么样去编程也同样非常迷茫,在网上也没有找到相关的经验贴,故在此给大家分享几点经验。该文会长期更新,欢迎在评论区交流。数学建模和ACM的区别相比于ACM,数学建模编程主要有以下几点区别:...原创 2020-03-08 22:24:51 · 1139 阅读 · 3 评论