【干货】借鉴开源框架自研日志收集系统

踏浪无痕     岂安科技高级架构师 十余年数据研发经验,擅长数据处理领域工作,如爬虫、搜索引擎、大数据应用高并发等。担任过架构师,研发经理等岗位。曾主导开发过大型爬虫,搜索引擎及大数据广告DMP系统目前负责岂安科技数据平台开发与搭建。项目背景公司项目需要将分布在多台机器中的日志统一收集管理。笔者...

2018-04-27 19:11:22

阅读数 1039

评论数 0

谈谈Python协程技术的演进

Coding Crush   Python开发工程师 主要负责岂安科技业务风险情报系统redq。 引言 1.1.  存储器山 存储器山是 Randal Bryant 在《深入理解计算机系统》一书中提出的...

2018-01-23 18:37:05

阅读数 151

评论数 0

恶意爬虫这样窥探、爬取、威胁你的网站

整个互联网的流量中,真人占比有多少? 80% ? 60% ? 50% ? 根据 Aberdeen Group 在近期发布的以北美几百家公司数据为样本的爬虫调查报告显示,2015 年网站流量中的真人访问仅为总流量的 54.4% ,剩余的流量由 27% 的好爬虫和 18.6% 的恶意爬虫构成。...

2016-12-19 14:50:59

阅读数 8198

评论数 0

十分钟解决爬虫问题!超轻量级反爬虫方案

本文将描述一种尽量简单的反爬虫方案,可以在十几分钟内解决部分简单的爬虫问题,缓解恶意攻击或者是系统超负荷运行的状况;至于复杂的爬虫以及更精准的防御,需要另外讨论。 爬虫和反爬虫日益成为每家公司的标配系统。爬虫在情报获取、虚假流量、动态定价、恶意攻击、薅羊毛等方面都能起到很关键的作用,...

2016-11-14 17:41:49

阅读数 5839

评论数 0

测试工程师良品 —— Fiddler 工具简介

前言Fiddler 是目前最强大最好用的调试工具之一,它能记录所有客户端和服务器的http和https请求,设置 CGI 请求的断点,甚至修改输入输出数据。fiddler 的工作原理,是它在 web server 和 web browser 之间搭了一层 proxy,所有的请求都会经过它,如下图所...

2018-05-08 15:12:30

阅读数 339

评论数 0

Mac 下的破解版软件真的安全吗?

我们发现很多 Mac 用户对自身的安全并不是很重视,针对用户的恶意软件逐渐增多,窃取用户的隐私, 监控用户的日常行为, 恶意推广广告, etc。因此,我们应该提高自身的安全意识, 警钟长鸣。1 前言小夏是一名普通 Mac 用户,某天,他打算试试思维导图来记录工作学习。他问同事小芳:“Mac 下有啥...

2018-04-17 15:07:28

阅读数 5281

评论数 0

企业应用集成之初学乍练

撸主:阿木   岂安科技项目经理基础开发出身,目前主要负责岂安产品的项目资源规划和过程管理。企业对应用集成(EAI)的需求企业不断发展,很多长期需要人为操作或者流程定制来处理的业务问题,为了提高效率会考虑引入软件应用系统来解决,比如,CRM(客户管理管理)系统,SCM(供应链管理)系统,ERP(企...

2018-04-11 15:56:37

阅读数 866

评论数 1

浅析图表中的视觉暗示

撸主:烟烟    UX设计师主要负责岂安科技的UI界面和交互设计。前言从客观逻辑来讲,直观的数字的确比抽象的图形更有可信度,但是大脑却对处理图形内容上会更容易理解。就像下图一样,我只是给你光秃秃的数据表格,也许你会漏掉一些有价值的东西。但是好的可视化来表达这些数据,你会挖掘数字背后的信息。之前列举...

2018-03-28 15:11:41

阅读数 230

评论数 0

又双叒叕找不到图了?UI设计师独家分享年度十大高清图片网站

撸主:小思敏儿   岂安科技ui设计师自我介绍不知道说啥,就是妹子一枚,刚刚入职,在设计届属于晋级级别,热爱设计,我就是这样一个耿直的girl,哈哈哈……作为设计师寻找到高质量的图片素材是不可或缺的必备技能,除了摄影师和影楼 P 工以外,设计师是最多和图片打交道的职业了,做 BANNER 需要图片...

2018-03-20 11:53:18

阅读数 294

评论数 0

浅谈网络劫持的原理及影响

叶孤城   岂安科技售前顾问9年互联网项目支持经验,涉猎各类体育项目无处不在的劫持利用饿了么2块钱的补差价就能划走用户支付宝的2000元、利用订购的机票信息,就能获取到用户信任,骗取财产、总是被跳转到一些自己不想访问的页面上、为什么总有那么多自己跳出来的广告?为什么一个正常的链接点进去之后会出现下...

2018-03-06 14:57:52

阅读数 472

评论数 0

初窥 RAP:如何使用 RAP 进行接口文档管理

Jason   岂安科技前端研发工程师三年互联网前端开发经验,曾参与过多个系统框架的搭建和组件开发,负责岂安科技产品的数据可视化和公用组件开发。1  前言RAP 是一个可视化接口管理工具, 通过分析接口结构,动态生成模拟数据,校验真实接口正确性, 围绕接口定义,通过一系列自动化工具提升我们的协作效...

2018-02-27 11:49:19

阅读数 3402

评论数 0

机器学习实例

小周天   岂安科技售前顾问 主要负责名词解释 引子 笔者作为与机器学习同龄的一代,从小学时就开始了对 AI 的不断钻研,上上下下左右左右 BA 的代码敲得无比熟练。经常在与 AI 的对战中获得大胜。此刻笔者的儿子(与深度学习同龄)正跟他的爷爷...

2018-02-06 11:09:32

阅读数 452

评论数 0

用 python 做数据分析:pandas 的 excel 应用初探

撸主: 大毛 岂安科技业务风险分析师 多年订单业务反欺诈经验,负责岂安科技多款产品运营工作。 上回笔者分享过一些 pandas 的常用数据查询语法,但是数据查询对于 pandas 而言只是冰山一角,它还有着更多更有价值的的应用场景。今天要分享的...

2018-01-31 20:20:03

阅读数 339

评论数 0

用 python 做数据分析:pandas 的 excel 应用初探

大毛 岂安科技业务风险分析师 多年订单业务反欺诈经验,负责岂安科技多款产品运营工作。 上回笔者分享过一些 pandas 的常用数据查询语法,但是数据查询对于 pandas 而言只是冰山一角,它还有着更多更有价值的的应用场景。今天要分享的是,用 pandas 来写 excel...

2018-01-16 16:39:52

阅读数 2044

评论数 0

人人都会数据采集- Scrapy 爬虫框架入门

Hekko 岂安科技研发工程师 喜欢(擅长)瞎折腾 ★ 在这个言必称“大数据”“人工智能”的时代,数据分析与挖掘逐渐成为互联网从业者必备的技能。本文介绍了利用轻量级爬虫框架 scrapy 来进行数据采集的基本方法。 ★ 一、scrapy...

2018-01-10 10:56:39

阅读数 211

评论数 0

深入剖析影响网站性能的因素及监测手段

finn  岂安科技高级售前顾问   多年云安全、大数据、CDN 等领域方案设计和项目管理经验,曾任多个互联网大型项目的售前项目经理。 1 网站性能现状 相信都听说过互联网八秒定律:用户访问一个网站时,如果等待网页打开的时间超过8秒,超过30%的用户会放弃...

2018-01-03 14:39:02

阅读数 767

评论数 0

实战:从Python分析17-18赛季NBA胜率超70%球队数据开始…

Casey    岂安业务风险分析师 主要负责岂安科技RED.Q的数据分析和运营工作。 就在昨天,12月19日,科比再次站在斯台普斯中心球馆中央,见证自己的两件球衣高悬于球馆上空。作为一个正奋战在 Python 之路上的球迷,开始了一次数据分析实战,于是,以分析球赛数...

2017-12-29 19:10:55

阅读数 1820

评论数 0

用Python做数据分析:Pandas常用数据查询语法

在使用Pandas之前,大多数数据分析师已经掌握了Excel和SQL,并且在刚上手Pandas时会经常习惯性想到“老办法”。"如果谁能把常用的数据查询语法做个对比就好了 ",我也曾不止一次地想享受前人的成果,无奈发现网上的文章侧重不同且深浅不一,还涉及到一些Pandas新老版本...

2017-12-22 14:50:24

阅读数 301

评论数 0

Jmeter简单介绍与搭配Jenkins实现自动化测试实践

Bioneck 岂安科技研发工程师 负责 Stalker 项目的部分研发与测试工作,编程爱好者,乐于使用代码解决生活中的重复工作。 最近有个需要依靠 Jmeter+Jenkins 实现自动化测试后部署的需求,于是看了看Jmeter的资料,这里给大家分享下。 ...

2017-12-12 12:33:25

阅读数 308

评论数 0

如何从零设计结构清晰、操作友好的权限管理模块

当我们谈及权限的时候,很容易想到在用户发起请求时,对接口做一层权限验证,或者是对数据库读写限制权限,简单粗暴。

2017-12-07 14:29:49

阅读数 483

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭