日常搬砖的程序猿-CSDN博客

转载 hive分区和分桶的区别

1，Hive分区。是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。下面从用shell命令操作分区表和从hdfs文件系统查看分区表相结合的方式加深对分区表的认识。第一，创建分区表并将本地文件

2021-04-01 16:29:18 684

原创 MySQL语句执行顺序

MySQL语句执行顺序：sql和mysql执行顺序，发现内部机制是一样的。最大区别是在别名的引用上。一、sql执行顺序fromjoinonwheregroup byavg,sum…havingselectdistinctorder bylimit二、mysql的执行顺序SELECT语句执行顺序SELECT语句中子句的执行顺序与SELECT语句中子句的输入顺序是不一样的，所以并不是从SELECT子句开始执行的，而是按照下面的顺序执行：开始->FROM子句->WHE

2021-04-01 09:57:33 412

原创 sourcetree在克隆项目的时候速度很慢

sourcetree在克隆项目的时候速度很慢。解决办法：打开sourcetree–》点击上方工具–》然后点击选项–》然后将SSH客户端选择为OpenSSH。如图：

2021-03-31 16:01:01 1000 1

原创 SourceTree这是一个无效源路径/URL

SourceTree这是一个无效源路径/URL。解决办法：安装sourcetree的前提，需要本地安装git。然后打开sourcetree—》点击上方工具—》点击选项—》点击git—》启用git

2021-03-31 09:33:44 887

原创 yum源安装mysql

安装mysql服务第一步：下载repo，并安装mysql-serverwget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpmyum -y install mysql57-community-release-el7-10.noarch.rpmyum -y install mysql-community-server这个步骤需要网络，并根据网速会花些时间，安装完成后会覆盖之前的mariadb。如果

2021-03-18 14:24:03 83

原创集群时间同步centos7

集群时间同步centos7（以三个节点为例：hadoop01,hadoopo2,hadoop03）第一步：安装ntp：yum install ntp ntpdate -y第二步：修改配置文件：vim /etc/ntp.conf第三步：修改配置文件：vim /etc/sysconfig/ntpd增加内容如下（让硬件时间与系统时间一起同步）：第四步：启动服务：systemctl start ntpd设置开机自启：systemctl enable ntpd第五步：同步时间：ntpda

2021-03-15 11:04:13 150

原创 ERROR 1366 (HY000): Incorrect string value: ‘\xE5\xBC\xA0\xE4\xB8\x89‘ for column

linux下的mysql插入数据报错：ERROR 1366 (HY000): Incorrect string value: ‘\xE5\xBC\xA0\xE4\xB8\x89’ for column ‘name’ at row 1。此时我们需要更改linux下mysql的编码格式。一般我们在安装完成mysql数据库后发现数据库竟然不支持中文，这是数据库默认编码格式的问题，本篇我们介绍如何修改数据库的默认编码为utf8。举个例子：create table teacher (name varchar(2

2021-03-12 15:40:59 5032 2

转载集群主机间免密登录配置

Hadoop集群搭建（集群主机间免密登录配置）实验目的及要求：静态网络地址配置；主机名的配置；防火墙的配置，使平台相关软件的常用端口能够远程正常访问；主机地址映射的配置，使所有主机能够通过主机名相互正常访问；免密码登录的配置，使所有主节点能够免密码登录集群中所有其他节点，多个主节点之间能够相互免密码登录到对方，同事主节点能够免密码登录自身；实验环境：VMware Workstations 14虚拟机；Linux CentOS 7操作系统五台；实验内容：1、网络环境配置五台主机分别配置静

2021-03-12 12:37:47 1721

weixin_56005016的博客