2017年01月_打怪的蚂蚁

原创常用工具小技巧

一、文档转换相关1、档铺http://www.docpe.com/2、smallpdfhttps://smallpdf.com/cn二、PPT模板相关http://hippter.com/三、音视频转换相关https://photoeditor.polarr.co/http://media.io/

2017-01-19 19:01:15 536

转载 Hive自定义函数(UDF、UDAF)

当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数。UDF用户自定义函数（user defined function)–针对单条记录。创建函数流程 1、自定义一个Java类 2、继承UDF类 3、重写evaluate方法 4、打成jar包 6、在hive执行add jar方法 7、在hive执行创建模板函数 8、h

2017-01-19 14:51:44 657

转载 QCon 热点演讲视频及幻灯片索引

在过去 8 个多月的时间，QCon 微信公众号一共发布了 70 多个演讲视频和幻灯片，收获 28 万次阅读。这里简单分了个类，方便读者收藏查询。以下按照架构、大数据、运维、移动、团队管理、工程效率、Java、前端、技术创业、安全和产品设计等领域划分，集合了相关的演讲视频及幻灯片。架构构建微服务体系下的全链路监控系统

2017-01-06 09:12:26 1769

转载 Linux Awk命令详解

简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。a

2017-01-04 15:36:05 290

原创九大PPT制作伴侣【神器】

1、SlideShare这个相当于PPT界的YouTube。可以方便的分享、上传、下载、引用PPT。在这里汇集了大量优秀的、风格迥异的幻灯片，是个不可多得的好地方。2、ThemeGallery模板套个模板也许是最简单有效的美化PPT方法。ThemeGallery的模板非常专业，且主题多样，基本能够满足我们日常的需要，唯一的问题是：如何在上百个漂亮的模板中选出

2017-01-04 14:24:59 488

转载 Apache Kylin综述

1. 简介1.1 Kylin概览Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力（可以把Kylin定义为OLAP on Hadoop）。Apache Kylin于2015年11月正式毕业成为Apache基金会(ASF) 顶级项目，是第一个由中国团队完整贡献到Apache的顶级项目。Apache Kyiln构建在Hadoo

2017-01-04 10:25:23 2105

转载架构师到底该不该写代码

周末InfoQ-StuQ直播，主持和听众提问的简版实录，快消时代，精简到1分钟可以读完（原文有10000字）。提问：沈老师是从什么时候开始写文章的？我从大学开始有写文章的习惯，最开始主要记录学习上和生活上的一些东西。毕业加入百度之后，在百度空间总结一些学习到的技术的东西，后来百度空间好像转型做交友平台了，于是搭建了自己的博客，在博客上写了一两年。最近当然就是在公众号“架

2017-01-03 19:55:30 2471

转载对程序员非常重要的24个软技能

软技能通常是被低估的。几乎所有的软件工程师都知道要关注技术的提高，但你忽视的软技能很可能会影响你的职业生涯。下面我将介绍24个对程序员非常重要的软技能，以及我对这些技能的看法和感受。1：学会如何学习学无止境。2：制定阅读规划我的生活常常没有规划。我也不知道这次我是否能够真正地执行我的阅读规划。但是按照时间表总比自己漫无目的地修读和看书要好。3：改善健

2017-01-03 19:37:34 414

原创程序员的基础生存技能：高效用Google

如果票选近二十年最伟大的发明，我相信搜索引擎肯定会占据一个不容小觑的位置，它不单是一项发明，更是一项成就，最大程度消灭了信息的不平等。既然人人都可以接触到海量的信息，那么衡量信息财富多寡就只剩下技巧这惟一的标准了：善用搜索引擎的都是信息时代的富翁，不懂搜索引擎的都是信息时代的负翁。而像程序员这种必须终生学习的职业，搜索引擎就是我们的左膀右臂。懂搜索引擎就是我们的基本功，不，应该

2017-01-03 16:18:36 417

转载 Docker+Jenkins打造自动化测试以及部署升级环境

在项目迭代周期有限的情况下，流程冗长条件复杂的升级测试无法再依赖人工的办法完成，必须借助自动化测试的工具和方法解决这个问题。本文将以Transwarp Data Hub(TDH)的自动化升级测试的架构为例，分析应如何选择并系统性的整合不同技术以合理实现自动化测试以及部署升级。随着产品发行版的增多，大量存在于客户现场的老版本有待升级更新，每当一个新版本产品发布给客户前，测试人

2017-01-03 16:06:13 7544

原创 Java程序员应该知道的10个调试技巧

摘要：调试不仅可以查找到应用程序缺陷所在，还可以解决缺陷。对于Java程序员来说，他们不仅要学会如何在Eclipse里面开发像样的程序，更需要学会如何调试程序。本文介绍了Java程序员必知的10个调试技巧，保证让你受益匪浅！调试可以帮助识别和解决应用程序缺陷，在本文中，作者将使用大家常用的的开发工具Eclipse来调试Java应用程序。但这里介绍的调试方法基本都是通用的，也适用

2017-01-03 15:15:50 249

转载机器学习算法总结

找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。　　　　下面是在找机器学习岗位工作时，总结的常见机

2017-01-03 14:38:20 413

转载这5种必知的大数据处理框架技术，你的项目到底应该使用其中的哪几种

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点

2017-01-03 11:56:51 2029

shieh的专栏