- 博客(63)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 在scrapy中使用Selector提取数据
经院吉吉： 首先说明一下，在scrapy中使用选择器是基于Selector这个对象滴，selector对象在scrapy中通过XPATH或是CSS来提取数据的，我们可以自己创建selector对象，但在实际开发中我们不需要这样做，因为response内置有selector对象，我们可以直接调用其方法，scrapy源码中相关实现过程如下：可以看到scrapy.selector模块在...
2024-06-22 11:24:57
2317
1
原创 roofline model加速模型部署最后一公里
想象一下，如果我们想让一辆车跑得更快，我们需要知道它现在能跑多快，是什么在限制它的速度（比如是引擎的问题，还是轮胎的摩擦），以及我们可以做哪些改动来让它跑得更快。在计算机和程序的世界里，我们也有类似的方法来帮助我们理解和提升一个程序的运行速度，这就是所谓的“Roofline Model”（屋顶模型）。屋顶模型就像是一个图表，帮助我们看到一个程序在特定的计算机上能跑得多快，以及是什么在限制它跑得更快。屋顶线（Roofline）：这条线像房子的屋顶一样，代表了最快的速度，即计算机的最大性能。
2024-05-09 15:00:36
440
原创 用正则表达式打造免费代理IP池
经院JJ：爬虫的过程中，当对方服务器发现你屡次爬取它，可能会遇到被封IP的苦痛，这时IP就应该换啦，打造IP池的意义十分重要，提供免费IP网站有很多，本次用的是西刺代理IP# -*- coding: utf-8 -*-"""Created on Fri May 11 09:02:12 2018@author: JJ"""import urllib.requestimport red...
2024-05-09 14:47:36
590
原创 不完美才是人生
下午无意中错点进某个新闻网站，正当我理所地准备关掉时，一个耸立的标题驱动了我的好奇心，“美女花400万整容”，惊愕了一会儿我点开了，这是一档两个陌生人对话的节目，一张花了天价“修来”的脸，这张“别致”的脸对面的是各方面都很优秀的美女学霸，看完后我始终不能走出他两对话的圈子，太震撼人心了，倒不是说问的有多好，而是问的很现实。其中有一段是学霸问整容女，“你都这么完美了干嘛还要整容？是因为她让你感到快乐...
2024-05-09 14:47:24
708
原创 用python抢火车票-----在debug中我终于成功了~。~
后期文章陆续登在公众号过年的时候一直在尝试做这个事情，嘿嘿，没想到终于成功了，有点小激动，网上也有部分代码，但是都失效了，甚至有的用python2，这个代码也有一定的局限性，但是目的达到了。话不多说上代码# -*- coding: utf-8 -*-"""Created on Wed May 9 14:12:25 2018@author: JJ"""#12306账号m...
2024-05-09 14:47:11
4621
1
原创 汪国真《归来》摘记（四）--------END
经院吉吉：今天下午上了一堂论语课，趁课上将汪老的《归来》看完了，在这本书中，汪老将人生的目的，青年该有的状态，人生应有的姿态，以及爱情那种很微妙的情愫用凝练而简洁的语言道出了深刻耐人寻味的道理。1.《成功是出色的平凡》不要急于成佛成仙，也许我们应该按部就班，踏踏实实埋下每一颗种子，认认真真过好每一天，你也许期待，粉荷盈香，花羡木怜，你也许期待，玉树临风，如日中天，其实，成功很远也很近，成功是出色的...
2024-05-09 14:44:19
1016
原创 认识机器学习
经院吉吉：前序：搜索机器学习百度百科给出了这样的定义，“机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。”事实上机器学习包含了许多数学原理推导与实际应用技巧，所以如果要真正学习，就要清楚一个个算法是怎...
2024-05-09 14:43:09
589
1
原创 用keras对电影评论进行情感分析
文章目录下载IMDb数据读取IMDb数据建立分词器将评论数据转化为数字列表让转换后的数字长度相同加入嵌入层建立多层感知机模型加入平坦层加入隐藏层加入输出层查看模型摘要训练模型评估模型准确率进行预测查看测试数据预测结果完整函数用RNN模型进行IMDb情感分析用LSTM模型进行IMDb情感分析GITHUB地址https://github.com/fz861062923/Keras下载IMDb数据...
2024-02-16 23:07:23
2132
1
原创 初识tensorflow程序设计模式
文章目录建立'计算图'tensorflow placeholdertensorflow数值运算常用的方法tensorboard启动tensorboard的方法建立一维与二维张量建立一维张量建立二维张量建立新的二维张量矩阵的基本运算矩阵的加法矩阵乘法与加法github地址https://github.com/fz861062923/Keras建立’计算图’#建立‘计算图’import ten...
2024-02-16 22:56:00
1085
1
原创 用tensorflow模仿BP神经网络执行过程
文章目录用矩阵运算仿真BP神经网络y= relu ( (X․W ) + b )y= sigmoid ( (X․W ) + b )以随机数产生Weight(W)与bais(b)placeholder建立layer函数改进layer函数，使其能返回w和b用矩阵运算仿真BP神经网络import tensorflow as tfimport numpy as npC:\Users\admin\A...
2024-02-16 22:55:32
863
1
原创 TenorFlow多层感知机识别手写体
文章目录数据准备建立模型建立输入层 x建立隐藏层h1建立隐藏层h2建立输出层定义训练方式建立训练数据label真实值 placeholder定义loss function选择optimizer定义评估模型的准确率计算每一项数据是否正确预测将计算预测正确结果，加总平均开始训练画出误差执行结果画出准确率执行结果评估模型的准确率进行预测找出预测错误GITHUB地址https://github.com/...
2024-02-16 22:53:09
2024
1
原创 TensorFlowCNN识别手写数字
文章目录数据准备建立共享函数定义weight函数定义bias函数定义conv2d函数建立池化函数建立模型输入层 Input LayerConvolutional Layer 1Convolutional Layer 2Fully Connected Layer输出层Output设置训练模型最优化步骤设置评估模型训练模型评估模型的准确率预测概率预测结果找出预测错误保存模型启动TensorBoard...
2024-02-16 22:52:07
971
原创 GPU vs CPU
文章目录安装TensorFlow GPU版本安装keras用TensorFlow查看GPU信息查看是否有GPUGPU是否可以用列出本地的机器信息测试GPU和CPU的执行性能将结果进行可视化github地址https://github.com/fz861062923/TensorFlow实验平台google Colab安装TensorFlow GPU版本!pip install tensor...
2024-02-16 22:51:22
1524
原创 DOS编程学习日记(CMD基本命令)
文章目录cd命令dir命令A的属性title命令mode命令color命令copy和xcopy命令rename 用来重命名文件replace命令cd命令cd ..返回上一层目录cd .返回当前目录(没啥意义)cd /返回到根目录dir命令dir (path),指出目录中的文件和子目录中的列表可以通过 dir /?查看dir可以添加哪些参数，这里只复制了常用的一部分/A显示具有指...
2024-02-16 22:50:28
501
1
原创 怎么在jupyter notebook中运行R
文章目录需要安装的R包将jupyter和R进行关联最终效果图需要安装的R包repr, IRdisplay, evaluate, crayon, pbdZMQ, devtools, uuid, digest，IRkernel使用命令install.packages(c('repr', 'IRdisplay', 'evaluate', 'crayon', 'pbdZMQ', 'devto...
2024-02-16 22:50:14
1116
1
原创 简单试验:用Excel进行爬虫
文章目录Excel的版本具体操作实例从网站上爬取工商银行的汇率Excel的版本office 2016,2019,365这几个版本都可以具体操作数据新建查询从其他源自网站实例从网站上爬取工商银行的汇率网站:http://www.usd-cny.com/icbc.htm, 傻瓜式操作，最终效果图如下:...
2024-02-16 22:50:01
7847
1
原创 杂文随笔_
“你的工作将会是你生活中很大一部分，唯一能使自己得到真正满足的是，做你伟大的工作,做一份伟大的工作的唯一方法是，热爱你所做的工作。“这是乔布斯在斯坦福大学的一次演讲所说的话，作为一名大学之师，我觉得其最重要的品质就是教书育人，并且热爱自己的事业,愿意在自己的领域持续发光发热，做着自己的学问。不求那份微薄的工资或者待遇是否对的起他辛勤的劳动，但求自己对得起讲台下的莘莘学子。韩愈的《师说》中有一句“...
2024-02-16 22:44:55
520
原创 利用Excel模拟投币试验
文章目录试验前对Excel要进行的设置试验步骤计算正面频率结果图试验前对Excel要进行的设置进入Excel依次点击如下选项，最后将分析工具库勾选文件选项加载项转到分析工具库试验步骤点击数据分析选项卡，选择随机数发生器，设置完毕后如下图所示：注意分布选择伯努利分布就行了计算正面频率使用COUNTIF这个函数计算1出现的次数，如下图所示：结果图...
2024-02-16 22:43:58
2247
1
原创 如何快速打开校园网登陆界面
方法：输入公共DNS服务器的地址，常见的DNS服务器地址有如下这几种：Google:8.8.8.8，8.8.4.4Cloudflare:1.1.1.1，1.0.0.1阿里云223.5.5.5，223.6.6.6百度180.76.76.76一般就用1.1.1.1又好记又方便,下次登陆界面没有弹出就可以试试啦！@-@...
2024-02-16 22:43:30
3520
原创 用遗传算法求解最值问题并可视化（python）
吉吉：import numpy as npimport matplotlib.pyplot as plt# 找到函数f(x)在区间self.x_bounder上的最大值def f(x): return np.sin(x) + np.cos(x)class GeneticAlgorithm(object): """遗传算法. Parameters: ...
2024-01-30 21:12:50
1403
1
原创 c++函数怎么返回多个值
每种方法都有其适用场景，可以根据实际需要和个人偏好来选择。例如，当返回的值类型和数量都固定时，使用结构体或类是一个不错的选择；当返回的值类型不同或数量不定时，使用元组可能更加灵活。使用引用或指针参数则可以避免返回值，但需要更注意函数的使用方式以防止出错。：定义一个结构体或类，其中包含了所有需要返回的值。然后在函数中返回这个结构体或类的实例。：通过引用或指针传递额外的参数给函数，让函数可以修改这些参数。（主要用于返回两个值）：当只需要返回两个值时，（C++11 及更高版本）：使用。可以返回不同类型的多个值。
2024-01-18 22:00:00
728
原创 检验样本是否服从泊松分布
一、数据预处理二、变量分析三、总体分布估计四、结论与分析本文以一个订单数据为例，研究顾客购买次数的分布规律，尝试从中估计总体的分布，以对后续的订单数据进行预测或进行业绩的对比#环境准备...
2021-07-02 18:11:23
5153
3
原创 关于马尔可夫链的一道题目
问题解答python模拟问题某人有 2 把伞，并在办公室和家之间往返．如果某天他在家中(办公室时)下雨而且家中(办公室)有伞他就带一把伞去上班(回家)，不下雨时他从不带伞．如果每天与以往独...
2021-03-31 20:33:31
2292
原创 回顾|Python中的数据结构
列表列表的特点：列表的创建方式基本的列表操作列表方法列表生成式元组字符串格式化字符串宽度、精度和千位分隔符对其和填充字符串编码字符串方法字典创建字典基本的字典操作将字符串格式设置功能用于字...
2021-02-25 21:19:53
188
原创 线性化和牛顿法
问题引入线性化问题的一般方法微分牛顿法Python实现问题引入如何使用导数去估算特定的量. 例如, 假设想不借助计算器就得到 的一个较好估算. 我们知道 比 略大, 所以显然可以说 ...
2021-02-22 22:13:49
756
原创 回顾|程序的组织结构
if条件语句单分支结构双分支结构多分支结构嵌套if使用条件表达式assert函数while循环for循环迭代字典一些迭代工具跳出循环break语句continue语句pass语句if条件语...
2021-02-04 21:41:04
83
原创 顺序表与单链表
顺序表Python顺序表中基本操作的实现list其他操作list内置操作的时间复杂度单链表python单链表基本操作的实现单个节点实现单链表的实现顺序表与单链表的对比顺序表线性表的顺序表...
2021-01-24 22:52:40
829
原创 一元回归分析
理论部分给出样本数据计算相应指标可视化理论部分问题 考察两个变量 与 之间是否存在线性相关关系,其中 是一般 ( 可控) 变量, 是随机变量,其线性相关关系可表示如下 ( 可用...
2021-01-06 19:44:43
1809
原创 单因素方差分析及其相关检验
ANOVA单因子方差分析(1)问题与数据设某因子有r个水平,记为,在每一水平下各做m次独立重复试验,若记第i个水平下第j次重复的试验结果为,所有试验的结果可列表如下:对这个试验要研究...
2020-12-30 12:50:31
4683
原创 卡方检验及其Python实现
分类数据的拟合优度检验独立性检验分类数据的拟合优度检验前面我已经写了关于几种常见的假设检验内容，而检验主要是测试样本分类数据的分布是否符合预期分布。相信大家如果学过高中生物，都知道孟德尔...
2020-11-27 12:00:00
4488
原创 Pandas绘图功能
柱状图箱线图密度图条形图散点图折线图保存绘图总结可视化是用来探索性数据分析最强大的工具之一。Pandas库包含基本的绘图功能，可以让你创建各种绘图。Pandas中的绘图是在matplot...
2020-11-06 22:30:28
863
原创 概率密度函数的核估计
importnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnssns.set()fromscipy...
2020-10-30 14:57:42
5027
4
原创 假设检验在数据分析中的应用
前言Z检验T检验独立样本t检验配对样本t检验单样本t检验前言在这篇文章中，我不会具体去推导检验统计量和相应拒绝域的得出，这对于大部分非统计学专业的人士来说是晦涩的，我只想通过一个案例告诉...
2020-09-28 11:39:06
1197
原创 Scipy使用简介
物理常量常用单位special函数库非线性方程组求解最小二乘拟合计算函数局域最小值计算全域最小值解线性方程组最小二乘解特征值和特征向量连续概率分布离散概率分布核密度函数二项分布，泊松分布...
2020-09-15 13:03:41
2744
原创 用Scipy求解单个正态总体的置信区间
区间估计简介Python求解单个正态总体参数的置信区间参考区间估计简介假定参数是射击靶上 10 环的位置，作一次射击，打在靶心 10 环的位置上的可能性很小，但打在靶子上的可能性就很大，...
2020-08-28 22:24:48
1814
原创 为什么随机误差服从正态分布？
前言正态分布的导出python绘制图像前言正态分布分布在概率论与数理统计中处于核心地位。它最初作为二项分布计算的渐近公式由棣莫弗引进，后被拉普拉斯发展成系统的理论，但把它作为一个分布来进...
2020-08-17 08:22:15
10169
1
原创 蒙特卡洛法求积分
问题一：我们如何用蒙特卡洛方法求积分？问题二：如何近似求一个随机变量的数学期望？问题三：估计的误差是多少？问题四：如何从理论上对蒙特卡洛估计做分析？结论importnumpyasn...
2020-08-06 22:49:08
13697
原创 交叉验证
概述Holdout 交叉验证K-Fold 交叉验证Leave-P-Out 交叉验证总结概述交叉验证是在机器学习建立模型和验证模型参数时常用的办法。顾名思义，就是重复的使用数据，把得到的样...
2020-07-19 14:05:03
2311
1
原创 Python统计分析
描述性统计偏度和峰度累计值假设检验和区间估计示例1假设检验置信区间示例2假设检验置信区间描述性统计#导入相关的包importpandasaspdimportnumpyas...
2020-07-08 21:10:32
476
转载 数据特征分析
分布分析对比分析统计分析帕累托分析正态性检验相关性分析分布分析分布分析 → 研究数据的分布特征和分布类型，分定量数据、定性数据区分基本统计量极差 / 频率分布情况 / 分组组距及组数im...
2020-07-06 17:14:46
3603
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人