橙汁糖的博客

一、Hive创建数据库与数据表 1.1.数据库相关操作 1.1.1.创建数据库 语法： create database if not exists 数据库名; 示例： create database if not exists mytestdatabase; 1.1.2.创建数据库并指定HDFS存储路径 语法： create database if not exists 数据库名 location 'HDS存储路径'; 示例： create database if not

我们在此处选择三台机器作为我们hive的安装机器 1.6.1 安装 1.6.1.1、derby版hive直接使用： 1、解压hive cd /export/softwares tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/ 2、直接启动bin/hive cd ../servers/ cd hive-1.1.0-cdh5.14.0/ bin/hive hive> create database mytest; ..

/usr/bin/sync && echo 3 > /proc/sys/vm/drop_caches free命令：[root@server~]# free -m totalusedfreesharedbufferscached Mem:2491638601094 -/+buffers/cache:58191 Swap:5110511 其中： total 内存总数 used 已经使用的内存数 free 空闲的内存数 shared ...

任务在azkaban的Scheduling正在调度中板块里显示的是正处于调度中的一个状态，但是到了调度的时间却没有任务执行 检查任务的调度历史 解决思路： 进入Execting查看是否有相同任务被卡死，（卡死的任务状态在Status栏中显示为空），把卡死的任务状态kill掉，如果有kill不掉的任务，切换用户之后再试 紧接着，按下面操作执行 点击后会有弹框显示，如果说此时正有任务在运行，就再去Excuting中把卡死的任务kill掉，然后再回到这里点击Excut...

问题： Azkaban上调度的所有任务无法打开，web界面中点击所有任务的open job都显示如下界面： 另外在yarn的web界面查看调度的资源情况： 相比之前正常情况下，内存的使用率小了很多 便可初步判断，azkaban上调度的任务应该都停止了没有再执行 情况分析： Azkaban服务没挂 Azkaban上调度的任务无法显示 Yarn上调度的资源使用率相比正常情况下小了很多 结论： Azkaban存储调度任务的数据库出现了问题 问题解决： 进入azk

yum repolist enabled 显示可⽤的源仓库 yum search pkg_name 搜索软件包 yum install pkg_name 下载并安装软件包 yum install --downloadonly pkg_name 只下载不安装 yum list 显示所有程序包 yum list installed 查看当前系统已安装包 yum list updates 查看可以更新的包列表 yum check-update

dpkg -c xxx.deb 列出deb包的内容 dpkg -i xxx.deb 安装/更新deb包 dpkg -r pkg_name 移除deb包 dpkg -P pkg_name 移除deb包(不保留配置) dpkg -l 查看系统中已安装deb包 dpkg -l pkg_name 显示包的⼤致信息 dpkg -L pkg_name 查看deb包安装的⽂件 dpkg -s pkg_name 查看包的详细信息 dpkg –u

apt-cache search pkg_name 搜索程序包 apt-cache show pkg_name 获取包的概览信息 apt-get install pkg_name 安装/升级软件包 apt-get purge pkg_name 卸载软件（包括配置） apt-get remove pkg_name 卸载软件（不包括配置） apt-get update 更新包索引信息 apt-get upgrade 更新已安装软件包 apt-

rpm -qa 查看已安装的rpm包 rpm -q pkg_name 查询某个rpm包 rpm -q --whatprovides xxx 显示xxx功能是由哪个包提供的 rpm -q --whatrequires xxx 显示xxx功能被哪个程序包依赖的 rpm -q --changelog xxx 显示xxx包的更改记录 rpm -qi pkg_name 查看⼀个包的详细信息 rpm -qd pkg_name 查询⼀个包所提供的⽂档

zipxxx.zip file 压缩⾄zip包 zip -r xxx.zip file1 file2 dir1 将多个⽂件+⽬录压成zip包 unzip xxx.zip 解压zip包 tar -cvf xxx.tar file 创建⾮压缩tar包 tar -cvf xxx.tar file1 file2 dir1 将多个⽂件+⽬录打tar包 tar -tf xxx.tar 查看tar包的内容 tar -xvf xxx.tar 解压tar包 .

cat file1 查看⽂件内容 cat -n file1 查看内容并标示⾏数 cat xxx.txt 查看xxx.txt文件内容 tac file1 从最后⼀⾏开始反看⽂件内容 more file1 查看⼀个⻓⽂件的内容 less file1 类似more命令，但允许反向操作 head -2 file1 查看⽂件前两⾏ tail -2 file1 查看⽂件后两⾏ tail -f /log/msg 实时查看添加到⽂件中的内

cd <⽬录名> 进⼊某个⽬录 cd .. 回上级⽬录 cd ../.. 回上两级⽬录 cd 进个⼈主⽬录 cd - 回上⼀步所在⽬录 pwd 显示当前路径 ls 查看⽂件⽬录列表 ls -F 查看⽬录中内容（显示是⽂件还是⽬录） ls -l 查看⽂件和⽬录的详情列表 ls -a 查看隐藏⽂件 ls -lh 查看⽂件和⽬录的详情列表（增强⽂件⼤⼩易读性） ls -lSr 查看⽂件和

chkconfig --list 列出系统服务 service <服务名> status 查看某个服务 service <服务名> start 启动某个服务 service <服务名> stop 终⽌某个服务 service <服务名> restart 重启某个服务 systemctl status <服务名> 查看某个服务 systemctl start <服务名> .

ifconfig 查看网络接口属性 ifconfig eth0 查看某网卡的配置 route -n 查看路由表 netstat -lntp 查看所有监听端口 netstat -antp 查看已经建立的tcp连接 netstat -lutp 查看TCP/UDP的状态信息 ifup eth0 启用eth0网络设备 ifdown eth0 禁用eth0网络设备 iptables -L 查看iptables规则 ifconfi

useradd codesheep 创建用户 userdel -r codesheep 删除用户 usermod -g group_name user_name 修改用户的组 usermod -aG group_name user_name 将用户添加到组 usermod -s /bin/ksh -d /home/codepig –g dev codesheep 修改⽤户codesheep的登录Shell、 主⽬录以及⽤户组 groups tes

fdisk -l 查看所有磁盘分区 swapon -s 查看所有交换分区 df -h 查看磁盘使用情况及挂载点 df -hl 同上 du -sh /dir 查看指定某个目录的大小 du -sk | sort -rn 从高到低依次显示文件和目录大小 mount -t ntfs /dev/sdc1 /mnt/usbhd1 指定文件系统类型挂载（如ntfs） mount -o loop xxx.iso /mnt/cdrom 挂载iso文件

shutdown -h -now 立刻关机 shutdown -h 30 30分钟后关机 shutdown -h 11:00 定时关机11:00关机 shutdown -h +10 预定时间关机（10分钟后） shutdown -c 取消定时关机 shutdown -r now 重启 shutdown -r 11:00 定时重启 reboot 重启 init 6 重启 init 0 ...

默认： application.properties：创建一个spring boot项目，IDEA会自动创建该配置文件 application.yml：非默认，需手动创建 格式： application.properties： 通过‘.’来递进连接； 通过‘=’来赋值； 结构上没有分层，给人一种比较直接的感觉； 例： application.yml： 通过‘换行和缩进’来递进连接（缩进时不允许使用Tab键，只允许使用空格，空格数目不重要，相同层级的元素左侧对齐即可，..

例： 1.确定要查询的依赖 2.百度 ‘依赖名 Maven’ 点进上面网页，进入以下网页，点击Search 找到最新，点进去 复制粘贴

@Data： 封装get 、set方法 @AllArgsConstructor： 封装全参方法 @NoArgsConstructor： 封装无参方法 以上三个注解一般用于实体类 例：