- 博客(11)
- 收藏
- 关注
原创 简单多线程加速爬取豆瓣评论
一些分析完整代码一些分析完整代码douban_comment_spider.pyimport requestsurls = [ f"https://movie.douban.com/subject/5989818/reviews?start={page}" for page in range(0, 150+1, 20)]def crawl(url): headers={ "User-Agent": "Mozilla/5.0 (Windows NT 1.
2021-08-22 15:41:50
172
原创 Excel搭建RFM模型
1.RFM模型RFM是3个指标的缩写通;过这3个指标对用户分类的方法称为RFM模型。最近一次消费时间间隔(Recency)对于最近一次消费时间间隔(R),上一次消费离得越近(R值越小),用户价值越高,因为最近一次消费时间越近的顾客是越有可能产生二次消费的群体。消费频率(Frequency)对于消费频率(F),购买频率越高(F值越大),用户价值越高。可以理解购买次数越多的客户是对我们产品越满意的客户,表示客户的忠诚度越高。消费金额(monetary)对于消费金额(M),消费金额越
2021-08-22 15:40:23
1867
原创 5-js反爬有道翻译
1.重要过程2.完整代码1.重要过程2.完整代码import requests as reqimport timeimport randomimport hashlibclass YDSpider(): """有道翻译""" def crawl(self, src_text): # 翻译的ajax接口 url = "https://fanyi.youdao.com/translate_o?smartresult=dict&s.
2021-07-05 00:08:57
114
原创 3-referer爬取上交证券数据
3-referer爬取上交证券数据1.一些主要分析过程2.完整代码1.一些主要分析过程查找内容,发现位于js响应中可以使用工具查看js response内容从header获取动态网页的请求来源2.完整代码import requests as reqimport reimport csvimport pymysqlfrom lxml import etreeimport jsonclass SSESpider(object): """爬取上交所证券数据""" d
2021-07-04 21:21:52
294
转载 2021-06-10
阿姆达尔定律(英语:Amdahl’s law,Amdahl’s argument),一个计算机科学界的经验法则,因吉恩·阿姆达尔而得名。它代表了处理器平行运算之后效率提升的能力。 并行计算中的加速比是用并行前的执行速度和并行后的执行速度之比来表示的,它表示了在并行化之后的效率提升情况。阿姆达尔定律是固定负载(计算总量不变时)时的量化标准。 可用公式: Ws+WpWs+Wpp\frac{W_s + W_p}{W_s + \frac{W_p}{p}}Ws+pWpWs+Wp 来表示。 式中W
2021-06-10 19:35:57
64
原创 numpy常用矩阵运算
机器学习L2-矩阵运算基础1》numpy常用矩阵运算1-矩阵形变 & 矩阵构造2-矩阵基本运算3-矩阵线性代数运算4-矩阵分解运算2》矩阵方程与向量求导方法3》最小二乘法推导&使用pandas常用矩阵运算合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchar
2021-06-01 18:08:05
925
原创 win10 CUDA10 CUDA11资源分享
win10 CUDA10 CUDA11资源分享最近官网总上不去。。。cuda_11.1.0_456.43_win10.exe链接:https://pan.baidu.com/s/1GMibNfDuZyX9LdACYnlMVA提取码:lkv1cuda_10.0.130_win10_network.exe链接:https://pan.baidu.com/s/1dfNP049wtmigVCnNdeY-LQ提取码:lrz4...
2021-04-28 13:27:20
566
原创 HOME%分号导致环境变量无效-以javac为例(第N个小插曲)
今天使用javac命令突然报错:E:\test>javac‘javac’ 不是内部或外部命令,也不是可运行的程序或批处理文件。这个错误常比较见,一般是安装多个jdk导致覆盖,多篇文章和问答已经提供了解决方法。但是我的问题不是这个。①在cmd查看环境变量E:\test>pathPATH=C:\Program Files\Java;\jdk1.8.0_221\bin;C:\Program Files\Java;\jdk1.8.0_221\jre\bin;仅显示和jdk有关的
2020-12-18 01:53:38
902
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人