IMISer2016-CSDN博客

原创 [MIT6.824-lab1] 批处理算法模型MapReduce

开个新专题，总结下MIT-6.824分布式系统的实验。同时不熟悉golnag内存模型的朋友也可用python做实验，原理是一样的。原文链接Lab1-MapReduce golang versionLab1-MapReuduce python versionMIT-6.824课程实验一，使用golang完成单机版本的MapReduce, 具体问题场景为WordsCount。需要通过的测试主要有：正确性，与串行结果比较可靠性，能应付某个作业失败的情况(主要是Worker失效)可扩展性，增.

2020-07-12 10:57:01 613

原创 docker-compose编排部署多服务Web应用(python/fastapi, go/gin, nginx, mysql, redis)

目前项目涉及到的基础设施有mysql, nginx, redis，服务模块有两个 python/fastapi 和 golang/gin。如果本地部署的话需要配置的环境有点多，虚拟化（以docker容器形式）是目前（最）流行的部署方法。加上众多编排工具可选择，非常适合Frodo目前多服务的形式。本文先介绍项目的docker部署方法，再以此为例，谈谈docker-compose编排多服务应用的特点和需要注意的地方。希望本文对大家开始实践部署多服务的容器编排应用能有启发~项目地址： python/fas.

2020-06-19 19:53:16 1737

原创 Python-FastAPI异步博客开发（四）--加入Go语言！~

Frodo-v2.0 没有添加新功能，而是将后端最重要的部分，后台API使用golang重构，python现在只负责前台模板的渲染。这样原本的单服务应用就成了多服务。本文将简介v2.0的调整思路和golang异步的特性，新版本的部署文档请参看项目地址博客地址项目地址主要重构的模块为：博文、用户、标签等的后台CRUD接口缓存清理模块JWT认证模块why golang?golang是年轻的语言，新世纪的静态语言。设计理念很好地平衡了C++和 javascript/python等动态语言..

2020-06-16 09:45:03 760

原创 Python-FastAPI异步博客开发（三）异步特性篇

异步篇最接近Frodo的初衷了。通信与数据的内容使用传统框架的思路是相同的。而异步思路只改变了若干场景的实现方法。博客地址项目地址异步编程不是新鲜概念，但他并没有指定很明确的技术特点和路线。相关概念也不是很清晰，很少有文章能细致地说明白阻塞/非阻塞、异步/同步、并行/并发、分布式、IO多路复用、协程这些概念的区别与联系。这些概念在CS专业的OS、分布式系统课程中可能有设计，但具体实现层面可能鲜有涉及。具体到Python这门语言，我阅读了很多工业界、python届的工作者（或者称为pythoni.

2020-06-16 09:43:10 2763 1

原创 Python-FastAPI 异步博客开发（二）通信逻辑篇

Frodo的第一个版本已经实现了，在下一个版本前，我将目前的开发思路整理成三篇文章，分别是数据篇、通信篇、异步篇。博客地址项目地址本篇就来到实现具体功能的逻辑流程了，在Web应用汇总，我个人更倾向于将业务流程成为「通信」。因为是整个流程就是后台将数据组织加工发往前端，这个过程协议可以不同（http(s), websocket）, 方法可能不同（rcp, ajax, mq）, 返回的内容格式不同（json, xml, html(templates), 早年的Flash等）; 刚才讲的是前后台通信，.

2020-06-16 09:41:24 1872 1

原创 Python-FastAPI异步框架博客系统开发（一）数据建模篇

Frodo的第一个版本已经实现了，在下一个版本前，我将目前的开发思路整理成三篇文章，分别是数据篇、通信篇、异步篇。项目地址Frodo简要系统分析数据库设计是紧跟需求来的，在我本科学UML时，数据库设计是在需求分析和系统分析之后，架构设计之前的设计。但博客项目的需求比较简单，主要大需求:内容管理（文章、用户、标签、评论、反馈、动态的增删改查）管理员用户的验证、评论人用户的验证小功能：边栏组件、归档、分类等再简单地做一个系统分析：博客前台页面（不需要认证，内容展示）博文内容博客.

2020-06-16 09:38:02 1185

原创强化学习笔记01：马尔科夫决策过程与动态规划

Markov Decision Process and Dynamic ProgrammingDate: Match 2019Material from Reinforcement Learning:An Introduction,2nd,Rechard.S.Sutton;Code from dennyBritze, 部分做了修改；文章目录Markov Decision Process...

2019-04-02 23:51:32 3455

原创 Python异步编程技术概述(Asyncio生态圈+并发爬虫测试)

Python 异步IO技术异步(asynchronous)编程模式是相对于同步方式的另一种编程思路。 C10K的问题提出后，各种编程语言都出现了解决高并发的技术栈，而早在Python2时期， Twisted、Tornado和Gevent这三个库用不同的技术路径解决了高并发。[1] 其中就有用到Python的一些异步实现方法。此文将对异步编程的基本思想和Python的实现方式进行阐述。文章...

2019-03-16 12:45:09 1201

原创基于文本内容的推荐系统开发记录

基于文本内容的推荐系统开发日记这里将会涉及：推荐模型逻辑算法基本实现与测试（gensim等模块的调用）内存溢出问题的解决编写Python rest 服务接口推荐模型逻辑基本思路是围绕一个json文件展开，将文本对应信息保存在json中，json定时根据更新过后的字典库、语料库进行更新。算法基本实现与测试文本预处理中文文本的预处理包含去标点、去停用词、分词（单独...

2018-08-13 11:19:47 1234 2

原创将机器学习应用嵌入到Web应用中

Ch9:Embedding a Machine Learning Model into a Web Application 前面的ML模型都是在本地运行计算的，此chapter介绍如何将模型应用在Web app上以获得实时学习、应用这一章主要偏机器学习功能Web的简单开发，与算法关系不大。没有跳过反而收获不少。不得不佩服作者在构思’算法+系统‘时所作出的为读者充分考虑的思想本...

2018-03-05 23:38:07 3843 3

原创 Pyamf实际应用案例

再次爬取基于Flex技术的某农产品每日价格历史数据这个是实习期间耽搁时间最长的项目了，通过这个对pyamf这个包算是很熟悉了。不得不说他的请求伪造真的好复杂。。。顺便吐槽一下，像flash这种当今在网页上见得很少了，但是众多政府网站依然使用，接受html5就那么难吗？？？还是说懒得换架构和模式？？网上对pyamf包的使用案例几乎没有，只能从国外找，1.23那天项目已经实践过一次

2018-02-01 18:09:08 3601 2

原创爬取基于Flex技术的网站数据

爬取基于Flex技术的网站数据Flex技术是网站运用flash方法与客户端进行数据通信，数据的格式可以是txt,json或amf等。 AMF是一种二进制编码方式，其在flash传输效率高,以农业信息网数据为例，爬取的方式与一般ajax分析相同。通过抓包分析请求头和响应数据，然后构造请求、接受返回数据。 github原文地址下面我以中国农产品批发市场每日价格行情http://jgsb.a

2018-01-24 15:33:38 3579 6

IMISer2016的博客