一生只做it人-CSDN博客

原创爬虫项目：破解极验滑动验证码

在这篇文章中：一介绍二实现一介绍一些网站会在正常的账号密码认证之外加一些验证码，以此来明确地区分人/机行为，从一定程度上达到反爬的效果，对于简单的校验码Tesserocr就可以搞定，如下但一些网站加入了滑动验证码，最典型的要属于极验滑动认证了，极验官网：http://www.geetest.com/，下图是极验的登录界面现在极验验证码已经更新到了 3.0 版本，截至 ...

2018-06-06 16:53:21 2798 2

接上文（一）春节红包大战，从企业红包演变到刷一刷红包、个性化红包和AR红包，玩法不断创新，用户体验更好，活跃度提升，参与人数也从2亿增长到17年春节的3.42亿。个性化红包QQ个性红包是在红包外观上的一次大胆尝试，借助该功能，用户可使用霸气的书法体将自己的姓氏／或其他文字（提供自动简繁体转换）镌刻在红包封皮上。此外，我们还提供了具有新年氛围的贺岁红包、与腾讯IP紧密结合的QQ family、游戏形...

2018-06-05 21:23:07 1237 1

原创 QQ红包技术方案全解密（一）

前言自2015年春节以来，QQ春节红包经历了企业红包（2015年）、刷一刷红包（2016年）和AR红包（2017年）几个阶段，通过不断创新玩法，活跃度节节攀升，成为春节一大玩点，给火红的春节带来一抹亮色。2017年除夕，AR红包、刷一刷红包再创新高，抢红包用户数达 3.42 亿，共刷出红包 37.77 亿个。那么，QQ红包的技术方案究竟是怎样的？其整体架构如何？重要的系统是如何设计的？为了保证用户...

2018-06-04 21:52:44 5527 2

原创 python3爬虫中代理的使用方法

学爬虫我们已经了解了多种请求库，如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战，了解一下代理怎么使用。下面我们来梳理一下这些库的代理的设置方法。1. 获取代理在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免费代理，比如西刺：http://www.xicidaili.com/，这里列出了很多免费代...

2018-06-03 01:16:59 2264

原创大数据框架学习：从 Hadoop 到 Spark

Hadoop1. Hadoop是什么Hadoop软件库是一个利用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理的框架。特点：部署成本低、扩展方便、编程模型简单。Hadoop 实现了在行业标准的服务器上进行可靠、可缩放的分布式计算，让你能够以较低的预算跟踪数 PB 以上的数据，而不必需要超级计算机和其他昂贵的专门硬件。Hadoop 还能够从单台服务器扩展到数千台计算机，检测和处理应用程序...

2018-05-31 21:39:31 5410

原创从零快速搭建自己的爬虫系统

近期由于工作原因，需要一些数据来辅助业务决策，又无法通过外部合作获取，所以使用到了爬虫抓取相关的数据后，进行分析统计。在这个过程中，也看到很多同学爬虫相关的文章，对基础知识和所用到的技术分析得很到位，只是缺乏快速的实战系统搭建指导。本文将简单归纳网页爬虫所需要的基础知识，着重于实现一套完整可用的小型网页爬取、分析系统，方便大家在有需要时，能够快速搭建系统，以用到实践中去。关于网页爬虫的定义和用途，...

2018-05-30 17:23:12 10418 1

转载数据工程师该如何入门？

0x00 前言最近发现身边有不少小伙伴想转行做数据工程师，聊天的过程中发现大家对该如何入门有很多迷茫的地方，周末写篇博客记录一下。哪些人适合继续阅读数据工程师该如何入门？话题有点大，而且每个人的理解都很不一样，因此我们会先限定一下会对这个话题感兴趣的人群：做了几年其它软件开发，发现大数据方向更有前景在校的童鞋，毕业后想搞数据开发，但是学校没相关课程没搞过软件开发，对之前的工作没信心想搞互联网，发现...

2018-05-29 22:22:17 201

qq_42330464的博客