笔记
文章平均质量分 76
Ryan-J
这个作者很懒,什么都没留下…
展开
-
2021SC@SDUSC 项目实训-定时任务的实现django-apscheduler
2021SC@SDUSC我们的项目是需要定时爬取内容进行处理的,之前只会用while True:一直运行着然后判断当前时间是否符合满足条件进行处理,由于这还是一个比较正式的项目,我就去学习了其他的实现方式。apscheduler是这其中我认为最好用的一个插件。在本项目的django后端框架背景下,我们可以去下载django-apscheduler框架(我个人使用的是0.3.1版本,不是很建议使用最新版,最新版似乎更改弃用了某些方法,网上的教程都没法使用,我也没有找到官方的说明文档,还是考虑下了旧版本)。原创 2022-06-11 10:16:43 · 213 阅读 · 0 评论 -
2021SC@SDUSC 项目实训-算法关键内容的实现
2021SC@SDUSC上篇文章介绍了两个算法,这些算法的实现方式还是比较有难度的。亲和图的实现方式我个人选用的是pandas.Panel(),这个存储结构在新版本中已经弃用,但是使用起来还不错,作为多维存储结构很方便。下面展示几个核心内容的代码内容...原创 2022-06-11 09:57:14 · 226 阅读 · 0 评论 -
2021SC@SDUSC 项目实训-算法介绍
2021SC@SDUSCHsun-Ping Hsieh*, Shou-De Lin, Yu Zheng. Inferring Air Quality for Station Location Recommendation Based on Big Data. In the Proceeding of the 21th SIGKDD conference on Knowledge Discovery and Data Mining (KDD 2015).在2021年《基于高阶图卷积网络的城市空气质量推断模型原创 2022-06-11 09:06:27 · 220 阅读 · 0 评论 -
2021SC@SDUSC 项目实训-ArcMap处理路网密度(创建渔网)
2021SC@SDUSC接下来主要处理静态数据,可以使用到的数据包括路网密度以及poi分布,同时必须要完成的任务是地理区域的划分,因为我要实现的内容必须基于城市的网格划分,出于对计算效率等方面的考虑,我使用5*5km的网格进行处理,经过选择我使用ArcMap这样一个GIS软件,安装下载教程可以通过csdn搜,还是非常好用的。路网数据来源https://www.openstreetmap.org/但是他无法获取城市的数据,所以我们需要利用其它的API完成。Overpass API是一个可以写代码获取一个原创 2022-06-02 21:22:09 · 547 阅读 · 1 评论 -
2021SC@SDUSC 项目实训-AQI数据获取
2021SC@SDUSC根据对相关内容论文的阅读[1] Yu Zheng, Furui Liu, Hsun-Ping Hsie. U-Air: When Urban Air Quality Inference Meets Big Data. 19th SIGKDD conference on Knowledge Discovery and Data Mining (KDD 2013).[2] Yu Zheng, Xuxu Chen, Qiwei Jin, Yubiao Chen, Xiangyun Qu,原创 2022-04-22 23:39:36 · 290 阅读 · 0 评论 -
2021SC@SDUSC 项目实训-气象数据获取
2021SC@SDUSC根据对相关内容论文的阅读[1] Yu Zheng, Furui Liu, Hsun-Ping Hsie. U-Air: When Urban Air Quality Inference Meets Big Data. 19th SIGKDD conference on Knowledge Discovery and Data Mining (KDD 2013).[2] Yu Zheng, Xuxu Chen, Qiwei Jin, Yubiao Chen, Xiangyun Qu,原创 2022-03-27 23:51:07 · 165 阅读 · 0 评论 -
2021SC@SDUSC 项目实训-简介
2021SC@SDUSC智慧环保:空气质量预测系统本项目计划分为三个主要部分。分别是1.空气质量预测:城市各个地区未来空气质量如何也将影响政府的决策和人们的出行。该项目的第二个目标便是预测各个空气质量监测站点的未来48小时空气质量。该预报可以每小时更新,并可细化到站点级别的预测。其中前六小时可以做逐小时预报,7-12,12-24,25-48小时做一个最大-最小范围预报。2.实时细粒度空气质量分析: 由于监测站的建设和维护成本高昂,一个城市通常只有有限个站点,并不能完全覆盖整个城市的范围。然而,受地表原创 2022-03-13 23:05:39 · 256 阅读 · 1 评论 -
2021山东大学机器学习期末考试(回忆版)
这是限选课的机器学习,期末只占40分,开卷,强烈建议带一本书(模式分类或西瓜书都行,我个人考试时基本只用到西瓜书)名词解释knn独立同分布间隔(margin)激活函数简答什么是outlier,为什么k均值对outlier敏感一道朴素贝叶斯,为应该分到哪类一道决策树,根据信息增益判断选哪个属性什么是线性可分,svm怎么解决线性不可分问题,简述思路综合什么是训练误差,什么是泛化误差画图说明误差,指出过拟合和欠拟合区域梯度下降为什么选择负梯度优化目标函数怎么选择学习率,过大过小的影原创 2022-01-07 19:27:13 · 2043 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(十四) —— 向Server写数据,channel详解
2021SC@SDUSC文章目录一、简介二、代码分析总结一、简介 上篇文章结合echo服务器端介绍了一下server是怎么被创建的,接下来我们看看建立连接之后怎么发送数据。 上篇文章也用到了这张图,中间的channel就是我们今天要讲解的内容。之后会再对数据的传输做更详细的解读。首先,channel是什么?原创 2021-12-27 20:55:39 · 433 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(十三) —— Server主要流程代码详解
2021SC@SDUSC文章目录一、简介二、代码分析总结一、简介 分配给我的内容bvar和bthread经过我的多篇技术博客的介绍,已经基本完成。到这里也达到了篇数的要求。所以我考虑从宏观流程的角度对代码进行分析。 了解过web或者网络技术的应该都对RPC框架的理论并不陌生,它和我们在常规开发时使用的Http请原创 2021-12-27 15:52:20 · 631 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(十二) —— bthread-ExecutionQueue类详解
2021SC@SDUSC文章目录一、简介二、代码分析总结一、简介 这篇文章介绍ExecutionQueue类——执行队列。 ExecutionQueue的相关技术最早使用在RPC中实现多线程向同一个fd写数据。在r31345之后加入到bthread。 ExecutionQueue 提供了如下基本功能:异步有原创 2021-12-26 22:37:16 · 553 阅读 · 0 评论 -
2021山东大学软件工程期末考试(回忆版)
名词解释极限开发统一过程模型项目成本测试用例β测试螺旋模型组合原型判断面向对象设计和分析都产生uml类图和往年题重复的不少选择关键路径的计算(冗余时间)uml用例图,活动图(判断该用的什么图)一些大纲概念包括测试等简答电子商务商城,判断那些不应该成为用例需求过程(5部分)设计界面要考虑的问题举例说明各种内聚功能测试的指导性原则综合一道大综合题,给出医护人员,接待员,办公人员,病人,给出业务逻辑填上用例图参与者和用例都是什么给出一个uml类图,填上缺的类是什.原创 2021-12-22 17:10:11 · 2878 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(十一) —— bthread-WorkStealingQueue类详解
2021SC@SDUSC文章目录一、简介二、代码分析总结一、简介 上篇文章比较细致地介绍了bthread的整个调度流程。注意到里面在调度时出现了steal_task这种操作,偷任务这种说法挺起来很新鲜,它的内部实现我们上篇文章也见到了。其实是调用了TaskGroup的_rq,让_rq的成员函数去实现。我们去task_group.h中找到TaskGroup类中定义了这个WorkStealingQueu原创 2021-12-14 20:47:49 · 1030 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(十) —— bthread-parking_lot调度类详解
2021SC@SDUSC文章目录一、简介二、代码分析总结一、简介 上篇文章简单介绍了bthread的整个流程和使用,其中我提到了bthread的具体调度问题,在brpc里,有个和调度相关的重要类parking_lot类,这篇文章我将重点介绍bthread在各个bthread_worker(TaskGroup)之间的调度方式。parking_lot根据代码可以看出本质上就是基于futex的实现的wait原创 2021-12-12 21:43:57 · 362 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(九) —— bthread整体过程代码详解
2021SC@SDUSC文章目录一、bthread整体流程二、代码分析总结一、bthread整体流程 上篇文章简单介绍了bthread常用到的一个基础类——resource pool,我们也可以从中体会到brpc框架在各个层面对高性能高效率的追求,这篇文章让我们正式进入bthread的整体流程,我将用文字和图片展示bthread正式运行时的流程,获得一个高屋建瓴的认识。  原创 2021-12-05 21:20:44 · 480 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(八) —— butil-resource pool类详解
2021SC@SDUSC文章目录一、resource pool类简介二、代码分析总结一、resource pool类简介 上篇文章简单介绍了bthread的概念及作用,并且分析了同步的工具——butex,这篇文章继续介绍一个bthread的基础类,resource pool。 resource pool是非常基原创 2021-11-28 21:22:47 · 425 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(七) —— bthread综述、Butex及mutex详解
2021SC@SDUSC文章目录一、bthread的背景知识学习二、代码分析总结一、bthread的背景知识学习 经过前面6篇代码分析,我将BRPC一个极其实用的工具——bvar做了全面系统的讲解和分析。接下来可以进入到全新的一部分,这是BRPC真正的精华所在——bthread。Bthread是brpc用到的一个线程库,也是brpc的核心之一,默认情况下,包括用户代码在内的绝大部分代码都是运行在bthre原创 2021-11-21 19:16:30 · 934 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(六) —— bvar-IntRecorder、LatencyRecorder详解
2021SC@SDUSC文章目录一、IntRecorder、LatencyRecorder类简介二、代码分析总结一、IntRecorder、LatencyRecorder类简介 经过了五篇文章的讲解,bvar的主干部分类也算基本讲解完毕了,这篇文章再介绍一下一个基于bvar的实用工具Recorder计数器,这是一个统计类型的工具。在早些时候我们讲解过Reducer类和三种典型的Reducer,这是与之相似原创 2021-11-14 19:44:08 · 1123 阅读 · 0 评论 -
2021SC@SDUSC BRPC代码分析(五) —— bvar-Sampler及其相关类详解
2021SC@SDUSC文章目录一、Sampler类简介二、代码分析总结一、Sampler类简介 这篇文章我来介绍一下bvar一个很重要的基础组件Sampler,中文翻译成采集器,像Window和PerSecond等和时间有关的都需要使用Sampler来定时采集,每一个需要采集的bvar对应一个Sampler,Sampler相关代码在sampler.h和sampler.cpp里,主要包括四个类,下文将具体原创 2021-11-08 10:28:13 · 537 阅读 · 0 评论