2015年12月_Joseph-Growth

12月

转载 <<Hive编程指南>>读书笔记

<<Hive编程指南>>读书笔记1. 设置hive以本地模式运行(即使当前用户是在分布式模式或伪分布式模式下执行也使用这种模式)set hive.exec.model.local.auto=true;若想默认使用这个配置,可以将这个命令添加到$HOME/.hiverc文件中2. 当频繁使用hadoop dfs命令时，最好为这个命令定义一个别名alias hdfs="hadoop dfs"3. hiv

2015-12-29 19:30:17 1249

转载函数式编程之美

今天在知乎上看见一段函数式编程，第一感觉是美，所以贴出来，大家一起体会体会。著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：2gua链接：http://zhuanlan.zhihu.com/guagua/19752481来源：知乎/** Scala yield用法* 作者：2gua* 2014/05/12*/object YieldDemo { p

2015-12-29 19:12:59 735

原创 hdfs目录创建hive表

简介步骤总结简介针对已经存放在hdfs上的文件，创建hive表。这里推荐创建外表，因为hive外表被删除，对应目录的数据不会被清除。步骤step1. 根据hdfs的数据字段，创建hive表。CREATE EXTERNAL TABLE if not exists push_log( ip STRING COMMENT 'IP Address of the User',

2015-12-28 18:34:00 8954

原创本地同步github代码

简介部署github项目Step1 创建数据仓库Step2 创建认证Step3 同步git数据仓库简介作为一名程序猿，经常跳槽是在所难免，有时我们自己开发的一些服务或者工具，不能及时共享而遗留在了老公司，而需要使用时，自己又不得不重新操刀。总之很不高效，而且自己开发出来的东西，不能与别人分享，难免也体现不了自身的价值。众多的代码托管工具，为什么要选择github了？这里只说明其中一个比较重要

2015-12-25 19:50:47 2950

原创 hadoop支持lzo完整过程

简介部署安装lzop native library安装hadoop-lzo配置hadoop环境变量验证lzo通过hive测试创建lzo表导入数据索引LZO文件利用hive执行mr任务修改使用中hive表的输入输出格式简介启用lzo 启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。安装lzo lzo并不是linu

2015-12-21 19:49:09 10242 1

原创 Redis 初谈

Redis 宣讲简介高可用缓存数据库丰富的数据类型结构支持各种主流语言入门学习成本底开源数据类型StringHashListSetHLL……Redis基础入门请访问redis官网或者 redis中文官网自行学习了解。注意事项操作类问题应该避免 keys “*” 之类的耗时操作这个问题可以这样理解，把redis服务看成ATM机，如果一个客户业务特别多，其他客户只能耐心

2015-12-15 16:15:23 621

C++ 设计新思维

C++ 设计新思维中英版侯捷著中文为繁体，可能并不是特别好读

2013-12-03

More Effective C++

More Effective C++ PDF 侯捷著

2013-12-03

VS2008+Feature+Pack+Sample

2013-11-18

系统自带的拷贝、移动、删除和重命名Demo

windows系统自身提供了一套拷贝、移动、删除和重命名文件的windows shell函数，而不需要调用系统的CopyFile等api函数。提供了两种函数接口，分别是vista版本前的SHFileOperation和之后版本的IFileOperation接口通过代码中修改获取使用method将可以在两种方法之间切换。

2013-09-27