项目经验与工作难题
记录每周项目的进展,以及遇到的问题。
joker1993
这个作者很懒,什么都没留下…
展开
-
程序员的学习工具?四个就够了!
前言我们作为程序员每天其实都在处于一个学习的状态,比如工作时调研一个新工具是在学习,解决一个bug的过程是在学习,看了一个很不错的公众号也是在学习。但是我认为学习本身也需要一个技巧,比如说从侧重点,时间进度方面,比如学习过程,比如学习过程的挖掘,比如最后的总结。...原创 2020-10-26 15:05:27 · 371 阅读 · 2 评论 -
从零构建爬虫系统(二)——面向中小企业的爬虫解决方案
前言从2020年五月开始,我开始主导我们公司的网络采集系统,由于从二月到四月一直在做数据质量风控相关的项目,采集这个项目便一直在搁置中。原创 2020-07-26 16:21:44 · 689 阅读 · 0 评论 -
风控系统(四)——上线后记
上线后记在调研了陌陌框架、flink框架之后,我们最终使用了flink进行了风控开发。但是再与业务人员核对数据的过程中,我们发现我们作出的风控功能是与其他团队有重合的。再从需求说起我们的需求是由其他同事向业务人员了解后整理完成的。风控模型也是其他同事设计完直接写好文档给我们看的,我们基于文档直接找到了相对应的业务人员了解了基本的逻辑后,就开始了开发过程。整个过程当中我们没有对需求进...原创 2020-07-26 16:23:21 · 540 阅读 · 0 评论 -
风控系统(三)——使用flink开发风控系统(下)
前言上期的文章中,我们主要讨论了使用flink解决数据源对比的问题。从kafka接受企业当期的报文数据,与mysql数据库中的上期数据进行对比,捕捉差异进行预警。这最近的工作中我们准备将要处理的数据量从一个set扩展到12个set,这期间遇到了如下三个问题:每个set中的区域包括多个区域的报文类型。 技术提出要求,当上游程序扩展set时候,我们的程序尽量最小化工作量。 业务逻辑发生...原创 2020-07-26 16:24:24 · 1505 阅读 · 0 评论 -
风控系统(二)——使用flink开发风控系统(上)
前言在上一节我们使用了陌陌的开源框架来处理json中的单值校验,在这一篇文章里我们主要分享通过flink sql的核心api来处理更为复杂的风控场景。业务场景这一部分业务场景主要是校验当期的企业需要报税的科目,相比于企业往期报税科目是否有增加或减少,以此来防止漏报税务。当期的企业报税科目通过mq传送过来,以json的格式作为序列化方式,包含任务id,科目名称。往期的企业报税科目...原创 2020-07-26 16:24:19 · 4120 阅读 · 0 评论 -
风控系统(一)——针对陌陌框架的定制化开发
前言我们的项目是基于报税业务进行风险控制,检测出报错税的情况。对于比较复杂的风险情况,比如两个json进行比较这种情况,可能涉及到时间窗口、流程化的部分,我们采用flink cep进行处理。对于较为简单的风险情况,比如判断json的某一个数据项是否为空,数值类型是否在一个范围之内,这一部分的业务,我们将借鉴陌陌的风控框架进行定制化开发。需求分析通过陌陌的介绍,我们可以看出它的产品定...原创 2020-07-26 16:24:15 · 2360 阅读 · 0 评论 -
从0构建爬虫系统(一 )——需求调研与技术调研
-------------------------------------更新:2020年1月13日从这几天开始我负责搭建企业级的爬虫系统,以下是领导的需求要点:1、尽量做到减少爬虫开发量,最好使用可视化的方式进行配置,自动生成爬虫代码。2、做到目标网站每天30万左右请求的采集目标。针对第一点目前国内做的比较好的是八爪鱼采集系统,采用C/S的软件架构进行采集,另外就是国外厂商Scr...原创 2020-07-26 16:24:08 · 453 阅读 · 0 评论 -
pycharm中sourceroot与倒入问题
注意pycharm的sourceroot要与run时候的woringDictory保持一致,这样IDE解释器的import入口才能与运行入口保持一致,否则IDE自动引入依赖会出问题。These roots contain the actual source files and resources. PyCharm uses the source roots as the sta...原创 2019-12-11 16:27:47 · 2263 阅读 · 0 评论 -
django连接容器内mysql遇到的问题
django.db.utils.OperationalError: (2026, 'SSL connection error: SSL_CTX_set_tmp_dh failed')初步怀疑是因为docker中的mysql实例是8.0.18,django的版本是2.2.6。一般5.6版本的mysql不需要在django中配置mysql的ssl的ca认证。show variables...原创 2019-12-11 13:45:54 · 545 阅读 · 0 评论 -
Mysql的安装:是放进docker中运行还是deb安装运行?
前言工作中总免不了安装mysql,现在有mysql社区版本,有mariadb,有mysql版本,还可以通过docker直接安装。今天笔者在工作中还是遇到了常规的设置root密码,删除重装等问题,很是麻烦。一方面还是要加深对mysql数据库的整体理解,另一方面也打算在这篇文章中探索下docker运行mysql的入门难度。使用docker安装Mysql主要参考的文章是https://blo...原创 2019-12-10 12:43:01 · 656 阅读 · 0 评论