weixin_42462738的博客

原创 【无标题】

【代码】【无标题】

原创 代码示例1

StructField("avg_download_speed", DoubleType, true), // 平均下载速率。StructField("user_type", IntegerType, true), // 1宽带账户,2专线账户。StructField("avg_conn_delay", DoubleType, true), // 平均连接时延。StructField("avg_all_dalay", DoubleType, true), // 整体时延。

原创 MR shuffle图示

原创 Hive场景题（持续更新）

开启本地模式 set hive.exec.mode.local.auto=true; =========================================================================== 1. 编写sql实现每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数 userid,month,visits A,2015‐01,5 A,2015‐01,15 B,2015‐01,5 A,2015‐01,8 B,2015‐01,25 A,2015‐01,5

原创 Shell知识总结

shell解析器： 常用解析器：bash sh ， sh是bash的软连接 脚本以#!/bin/bash开头（指定解析器） #执行方式 1.借用解释器执行 sh/bash aa.sh 2.给脚本加上执行权限后直接执行 chmod 777 aa.sh || chmod u+x aa.sh [gky@hadoop101 scripts] aa.sh 显示当前Shell中所有变量：set 变量设置： （1）定义变量A [gky@hadoop101 datas]$ A=5 [g.

原创 LInux知识总结(一些重要但不常见的命令)

#查看有哪些服务 进入 /etc/init.d/ 目录 ls -al #后台服务 service 服务名 start （功能描述：开启服务） service 服务名 stop （功能描述：关闭服务） service 服务名 restart （功能描述：重新启动服务） service 服务名 status （功能描述：查看服务状态） #开机启动 chkconfig （功能描述：查看所有服务器自启配置） chkconfig 服务名 off （功能描述：关掉指定服务的

原创 Flock命令与定时任务结合使用

除了多种语言提供 flock 系统调用或函数，linux shell 中也提供了 flock 命令。 flock 命令最大的用途就是实现对 crontab 任务的串行化。在 crontab 任务中，有可能出现某个任务的执行时间超过了 crontab 中为此任务设定的执行周期，这就导致了当前的任务实例还未执行完成，crontab 又启动了同一任务的另外一个实例，这通常不是用户所期望的行为。极端情况下，如果某个任务执行异常一直未返回，crontab 不会处理这种情形，会继续启动新的实例，而新的实例很可能又会异常

原创 CentoOS分区方案

硬盘回顾 无论是安装Windows还是Linux操作系统，硬盘分区都是整个系统安装过程中最为棘手的环节。硬盘一般分为IDE硬盘、SCSI硬盘和SATA硬盘三种，在Linux系统中，IDE接口的硬盘被称为hd，SCSI和SATA接口的硬盘 则被称为sd，其中IDE硬盘基本上已经淘汰，现在市面上最常见的就是SATA接口的硬盘，第1块硬盘称为sda，第2块硬盘称为sdb……，依此类推。 一块硬盘最多有4个主分区，主分区以外的分区称为扩展分区，硬盘可以没有扩展分区，但是一定要有主分区，在主分区中要有一个激活分区用来

原创 Java的一些简便方法

需要将枚举值放入List中取用 public static final List<String> TEST_LIST = new ArrayList<>( Arrays.asList("aa", "bb", "cc", "dd", "ee") ); 使用时(就是List的使用)： for(String s : TEST_LIST){ sout(s); } 需要将枚举值放入Map中取用 public class ManagementConstant{ public

原创 设置crontab定时任务遇到的问题

最近在工作中希望将一些任务定时执行，输出日志。因为任务是按天单独执行，所以希望日志输出的文件名也能带上日期。于是写了下面这个命令： 0 12 * * * cd /data && sh aaa.sh >> aaa_$(date -d "-1 day" "+%Y%m%d").log 按理说上述输出的日志文件名会包含昨天的日期，但执行后没有反应，折腾了半天才发现crontab文件中无法理解%的含义，因而需要将%转义 0 12 * * * cd /data && sh

原创 IDEA操作Git~持续更新

IDEA非常好的集成了git的命令，可以避免记忆复杂的命令，下面介绍了多种用法，基本涵盖了工作学习中会用到的 拉取代码 提交代码 切换分支 更改提交信息 合并代码 解决合并冲突 删除最近提交 取消中间某次提交 新建分支流程 chery-pick 保存更改不提交 ...

原创 Git特殊命令处理

Git特殊命令处理 安装时注意事项 1. 双击安装包，注意安装位置，使用notepad作为默认编辑器（默认vim），其他无脑下一步 2. 使用两个命令重置用户名和邮箱 git config --global user.name "GKY" 配置用户名 git config --global user.email "ky@qq.com" 配置邮箱 3.生成公钥私钥 ssh-keygen -t rsa -C "ky@qq.com" 三次Enter即可生成 删除本地提交记录 删除最新生成的几条，1就换成几

原创 hive连接小知识

连接数据库 Hive连接数据库共有三种方式 先说说本地模式和远程模式的区别 本地模式是指metastore和hive安装在同一台机器上，远程模式是指hive和metastore不在同一台节点上，而mysql在哪个节点上并不影响，mysql作为一个单独的软件 ...