云计算/大数据
贺佬湿
一个10年+资深IT互联网老司机,终身学习者。从0到1负责过百亿GMV电商平台的整体架构设计,月GMV从1亿到10亿+,轻松玩转亿级用户流量。Github开源社区的优秀贡献者,开源项目数超过6个,Star数2k+。大到待过国内上市公司、世界500强外企公司,小到创过业,做过物联网、互联网广告、电商等行业赛道。有经历公司在一年内,从100人+,发展到1300人+的团队规模扩展,产研团队近300人,史上最年轻的高级技术总监、首席架构师。目前以技术合伙人在创业ING,做广告变现+跨境电商方向,欢迎交流~
展开
-
Hadoop系列-MapReduce自定义数据类型(序列化、反序列化机制)(十二)
Hadoop系列-MapReduce自定义数据类型(序列化、反序列化机制)(十二)原创 2017-06-28 16:58:49 · 3696 阅读 · 0 评论 -
Hadoop系列-MapReduce设计思想与原理机制(九)
Hadoop系列-MapReduce原理与设计思想(九)转载 2017-06-27 17:12:57 · 1217 阅读 · 0 评论 -
Hadoop系列-HDFS文件操作的JAVA API用法(七)
Hadoop系列-HDFS文件操作的JAVA API用法(七)原创 2017-06-27 17:06:38 · 874 阅读 · 0 评论 -
Hadoop系列-使用Eclipse编译运行MapReduce程序 (三)
Hadoop系列-使用Eclipse编译运行MapReduce程序 (三)原创 2017-06-27 16:03:07 · 887 阅读 · 0 评论 -
Hadoop系列-MapReduce编程入门案例(八)
Hadoop系列-MapReduce编程入门案例(八)原创 2017-06-27 17:11:50 · 697 阅读 · 0 评论 -
Hadoop系列-MapReduce源码案例分析和编码规范(十)
Hadoop系列-MapReduce源码案例分析和规范实现(十)原创 2017-06-28 13:57:32 · 2476 阅读 · 5 评论 -
Hadoop系列-开发中常见问题处理(十一)
Hadoop系列-开发中常见问题处理(十一)转载 2017-06-28 14:06:49 · 1325 阅读 · 0 评论 -
分享一些Python爬虫实例项目
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便大家筛选搜罗,比如筛选评价人数>1000的高分书籍;可依据不同的主题存储到Excel不同的She...原创 2018-09-09 21:37:12 · 1891 阅读 · 0 评论 -
【实战】爬虫源码项目
一、项目需求内容,架构设计 二、相关代码见:a. 项目代码实战案例介绍b. Github源码实战 ------------------------------------------------------------------------------------------------------------关于我,前往个人域名期望和大家一起学习,共同进...原创 2018-09-09 21:31:56 · 1015 阅读 · 4 评论 -
Hadoop系列-HDFS的Shell脚本命令使用说明(六)
Hadoop系列-HDFS的Shell脚本命令使用说明(六)原创 2017-06-27 17:04:16 · 2029 阅读 · 0 评论 -
Hadoop系列-深刻理解HDFS工作机制(五)
Hadoop系列-深刻理解HDFS工作机制(五)转载 2017-06-27 17:02:44 · 698 阅读 · 0 评论 -
Hadoop系列-MapReduce自定义排序(十三)
Hadoop系列-MapReduce自定义排序(十三)原创 2017-06-28 18:04:23 · 2482 阅读 · 0 评论 -
Hadoop系列-MapReduce自定义Partitioner(十四)
Hadoop系列-MapReduce自定义Partitioner(十四)原创 2017-06-28 18:27:04 · 2144 阅读 · 0 评论 -
分布式跟踪系统—Zipkin
分布式跟踪系统—Zipkin原创 2016-12-05 15:06:14 · 1498 阅读 · 0 评论 -
大数据技术学习路线
如果你看完有信心能坚持学习的话,那就当下开始行动吧! 一、大数据技术基础 1、linux操作基础linux系统简介与安装linux常用命令–文件操作linux常用命令–用户管理与权限linux常用命令–系统管理linux常用命令–免密登陆配置与网络管理linux上常用软件安装linux本地yum源配置及yum软件安装linux防火墙配置linux高级文本处理命令cut...原创 2017-06-22 14:19:50 · 32402 阅读 · 16 评论 -
Hadoop系列~环境搭建,单机/伪分布式配置(一)
Hadoop系列~环境搭建,单机/伪分布式配置(一)原创 2017-06-26 16:11:03 · 1081 阅读 · 0 评论 -
Hadoop系列-集群安装配置(二)
Hadoop系列-集群安装配置(二)原创 2017-06-26 16:19:24 · 605 阅读 · 0 评论 -
Hadoop系列-HDFS设计思想与架构(四)
Hadoop系列-HDFS设计思想与架构(四)转载 2017-06-27 16:58:47 · 1825 阅读 · 0 评论 -
【应用算法】信息流-推荐系统的去重策略
聊两个问题,它们看似和推荐系统没有必然关系,但实际上,在你构建自己的推荐系统的时候,不可避免地会遇到这两个问题。去重是刚需在推荐系统中,有一个刚需就是去重,那么说在哪些地方有去重的需求呢?主要是在两个地方:一个是内容源去重,另一个是不重复给用户推荐。先说说内容源的去重,这部分以前几年的图文信息流推荐为典型的例子。如果一个平台自己不生产内容,只是做内容搬运和聚合分发,那么...原创 2018-09-23 01:09:53 · 7740 阅读 · 0 评论