- 博客(11)
- 资源 (3)
- 收藏
- 关注
原创 Mac小技巧
1、MAC在Finder栏显示所浏览文件夹路径的方法 操作步骤: 打开“终端”(应用程序-》实用工具),输入以下两条命令: defaults write com.apple.finder _FXShowPosixPathInTitle -bool TRUE;killall Finder 恢复默认状态,打开“终端”(应用程序-》实用工具),输入以下两条命令: de...
2018-04-26 10:39:50 172
原创 IDEA中maven总结
1、IDEA 中maven已经默认安装 Mac中的安装位置: /Applications/’IntelliJ IDEA.app’/Contents/plugins/maven/lib/maven3/bin/ 只需要将其配置到环境变量中即可(需要修改一下执行文件的命令)2、将本地jar包导入到maven local repository 用maven-install-pl...
2018-04-25 14:40:07 661
原创 GreenPlum日常总结
1、计算占比--保留小数点两位,拼接%round((a2.uv-a1.uv)/a1.uv::numeric*100,2)||'%' as ratio
2018-04-24 16:09:36 2178 2
转载 从 Windows 过度到 Mac 必备快捷键对照表(IntelliJ IDEA)
Mac 键盘符号说明⌘ == Command ⇧ == Shift ⇪ == Caps Lock ⌥ == Option ⌃ == Control ↩ == Return/Enter ⌫ == Delete ⌦ == 向前删除键(Fn+Delete) ↑ == 上箭头 ↓ == 下箭头 ← == 左箭头 → == 右箭头 ⇞ == Page Up(Fn+↑) ⇟ ==...
2018-04-19 10:00:29 211
原创 MapReduce文章
1、使用ToolRunner运行Hadoop程序基本原理分析 2、Java命令行选项解析之Commons-CLI & Args4J & JCommander
2018-04-18 17:44:02 266
转载 Git SSH Key 生成步骤
Git是分布式的代码管理工具,远程的代码管理是基于SSH的,所以要使用远程的Git则需要SSH的配置。github的SSH配置如下:一 、设置Git的user name和email: git config –global user.name “xuhaiyan” git config –global user.email “haiyan.xu.vip@gmail.com...
2018-04-18 15:50:37 157
原创 MAC通过ssh使用.pem文件登录服务器
在终端(我使用的是iTerm2)执行命令如下(先切到root用户下面): 1.检查权限问题 ssh -i key.pem ssh -i key.pem root@IP ——如果出现报错说明这个问题是文件的权限太大了,需要给小点 sudo chmod 600 key.pem ssh -i key.pem root@IP2.使用ssh-add 添加key文...
2018-04-17 19:23:00 2531
原创 hive优化-存储格式
Hive中的文件格式大致上分为面向行和面向列两类: 面向行:同一行的数据存储在一起,即连续存储。TextFile,SequenceFile。采用这种方式,如果只需要访问行的一小部分数据,亦需要将整行读入内存,推迟序列化一定程度上可以缓解这个问题,但是从磁盘读取整行数据的开销却无法避免。面向行的存储适合于整行数据需要同时处理的情况。 面向列:整个文件被切割为若干列数据,每一列数据一起存...
2018-04-13 11:46:37 395
原创 MR案例:Map Join
适用场景:一张表十分小【key不可重复】、一张表非常大。 用法:在Job提交时,首先将小表加载到 DistributedCache 分布式缓存中,然后从DistributeCache中读取小表解析成 key/value 保存到内存中(可以放在Hash Map等容器中)。然后扫描大表中的每条记录的 key 是否能在内存中找到相同 join key 的记录,如果有则直接输出结果。代...
2018-04-03 11:30:08 480
原创 MR案例:Left Outer Join
适用场景:适合两个大表连接操作 用法:Join操作在reduce task中完成 【默认的join方式】,map端按照连接字段进行hash,reduce 端完成连接操作代码实现:package join.map;import java.io.IOException;import java.util.ArrayList;import java.util.List;i...
2018-04-03 10:51:06 492
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人