东城庞太师

原创 linux hive根据分区删除数据的两种方式

首先我们先看下目前数据库表中的分区情况：show partitions 表名;现在开始删除dt=20190910的分区第一种方法：运用sql直接对表操作alter table 表名 drop partition(dt=20190910);再次查看分区。发现已经没了。第二种方法：在hdfs上用命令删除hdfs dfs -rm -r -f /user/hive/warehouse/xx/xx/dt=20190910...

原创 “The requested URL returned error: 404 Not Found“尝试其他镜像。

先确定如果虚拟机可以连接外网，那么如果还报错。就是yum源的问题。检查下yum源。centos 6版本的yum源centos 7版本的yum源原因：centos/6/ 下已经没有相关的文件，自然找不到就会报404了解决：修改配置文件：cd /etc/yum.repos.dvi CentOS-Base.repo将$releasever 全部替换为 7...

原创 ping 外网 icmp_seq=1 Destination Host Unreachable

问题：虚拟机ping外网 不同ping 外网 icmp_seq=1 Destination Host Unreachable原因：连接模式不对，应该选择桥接。点击编辑，虚拟机设置，更改设置，添加网络，选择桥接模式，根据你的主机设备实际联网情况选择，选择wifi还是有线。重启即可ping通。...

转载 Spark中的checkpoint作用与用法

Spark中的checkpoint作用与用法

原创 sql中 limit 2 , limit 2,3 , limit 2 offset 3 的区别

原创 elasticsearch分词报错--[ik_max_word] not found for field [name]

原因：分词器。。。解决：

原创 OGG工作原理(Oracle Golden Gate)

OGG是什么？是基于日志的结构化数据复制软件作用是什么？能够实现大量数据的实时捕捉、变换、投递。实现源数据库与目标数据库的数据同步。工作原理是什么？相关组件有什么？1.Manager负责OGG 整体的监控和管理(1).Trail文件的生成和删除(2).定期监控进程，负责进程的启动/停止2.Extract(Capture)(1).从redo 或 archive log获得DB变更信息，取得主键或唯一键的变更前后的值(2).以一定间隔读取REDO日志，

转载 ORACLE rac集群概念和原理

Oracle集群概念和原理Oracle的三种高可用集群方案1 RAC（Real Application Clusters） 多个Oracle服务器组成一个共享的Cache，而这些Oracle服务器共享一个基于网络的存储。这个系统可以容忍单机/或是多机失败。不过系统内部的多个节点需要高速网络互连，基本上也就是要全部东西放在在一个机房内，或者说一个数据中心内。如果机房出故障，比如网络不通，那就坏了。所以仅仅用RAC还是满足不了一般互联网公司的重要业务的...

转载 Oracle开启归档日志功能详细步骤

Oracle开启归档日志功能详细步骤1.查看oracle归档状态SQL> archive log list;数据库日志模式 非存档模式 //目前不是归档模式自动存档 禁用存档终点 USE_DB_RECOVERY_FILE_DEST最早的联机日志序列 27711当前日志序列 277132.关闭数据库SQL> shutdown immediate;3.启动数

原创 利用java生成0到50万的数据，并且自动换行

需求:生成有序数字，并自动换行。import java.io.File;import java.io.FileNotFoundException;import java.io.PrintWriter;import java.util.Random;public class ceshi { public static void main(String[] args) throws FileNotFoundException { Integer []num=new I

原创 elasticsearch启动不起来，端口9200没有监听

执行启动命令后，发现es启动不起来，访问不到！排查：1.进入到es的bin目录下，查看端口监听情况2.发现没有启用9200，则代表es启动失败。切换到日志logs目录下3.查看日志，执行 more myes.log原因：ES不允许超级管理员root账户启动服务。解决：创建es用户，使用es用户启动服务。...

原创 为什么ElasticSearch查询速度比mysql快？

数据查询速度对比分析（MySql + InnoDB）mysql：MyISAM索引原理：B+树查找InnoDB：InnoDB索引总结：mysql的磁盘IO次数太多ElasticSearch优化：尽量使数据先在内存中查询

原创 vncserver多用户登录问题之拒绝连接

vncserver多用户登录问题之拒绝连接1.1:root用户可以登录，但是2:grid用户却登录失败！原因：2:grid用户没有进行密码设置或者配置文件 /etc/sysconfig/vncservers 有问题。vi /etc/sysconfig/vncservers修改配置文件如上图：只保留 VNCSERVERS=“1:root 2:grid” 这一行。重启vncserver服务：service vncserver restart重启使用vncClient客户端登录用户2:grid

转载 linux中查看用户密码为数字，附加破解（加密方式）详解（/etc/shadow文件）

我们知道linux是一个多用户的操作系统，也就是说在linux系统中存储着很多不同用户的用户名及密码。那么如果某一个用户的密码忘记了怎么办呢？首先我们得知道，在linux系统中，用户名被存放在了/etc/passwd这个文件中；密码存放在/etc/shadow中。知道这两条重要的信息，那么后面的事情就简单很多了。如果我们要查看某个用户的密码，我们得先登陆为超级用户才可查看：su root然后输入超级用户的登陆密码，紧接着，我们需要查看/etc/shadow中对应用户的密码：cat /etc/sh

原创 The authenticity of host xxx can‘t be established 错误

解决：忽略，直接输入yes即可！

原创 this system is not registered with an entitlement server 报错

解决：vi/etc/yum/pluginconf.d/subscription-manager.conf将enabled改成0就可以了！