wyht1222的博客

原创 Shell学习笔记

Shell脚本日常学习分享

原创 Mysql报错

mysql报错：（1292 - Truncated incorrect DECIMAL value: ‘’, Time: 0.006000s）

原创 Hbase总结

Hbase总结（Hadoop database）0.Hbase是什么？(1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。(2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。(3) Hbase为null的记录不会被存储.(4)基于的表包含rowkey，时间戳，和列族...

原创 kafka常用命令及配置参数详解

kafka常用命令及配置参数详解常用命令1、启动zookeeper​ bin/zookeeper-server-start.sh config/zookeeper.properties &2、启动kafkabin/kafka-server-start.sh config/server.properties &3、停止kafkabin/kafka-server-...

原创 图片调用

原创 HIVE常用函数总结

HIVE常用函数总结一：explode（列转行）lateral view explode()aexplode只能炸array和ma，不能炸struct，UDTF explode 只支持一个字段**hive explode函数可以将一个array或者map展开，其中explode(array)使得结果中将array列表里的每个元素生成一行；explode(map)使得结果中将map里的每...

原创 分布式集群的搭建以及异常分析处理

分布式集群的搭建以及异常分析搭建分布式集群的步骤一：装VMWare:之前有的不用去专门删，双击安装包有会检测有没有，然后让你确定删除，完了再装二：装CentOS,先装一台，完了开机1：vi /etc/hosts（修改虚拟机与IP的映射）192.168.201.201 hadoop01192.168.201.202 hadoop02192.168.201.203 hadoop03.....

原创 Hive时间函数总结

Hive时间函数总结1：获取当前日期: current_dateselect current_date;2019-07-162：日期时间转日期函数：to_date(string timestamp)select to_date('2017-09-15 11:12:00')2017-09-153：计算两个日期之间的天数: datediffselect datediff('2017...

原创 Hive创建表时添加中文注释后乱码问题

Hive建表中文乱码复制别人的。。。创建数据表时我们经验会添加一些中文注释到表里面方便识别，最近在测试hive的时候，发现添在Hive创建表时添加COMMENT时的中文注释就会出现乱码，如下：解压思路：1、查看存放Hive元数据信息的数据库表字符集；是否因为字符集问题可以看出，由于表使用的是默认的latin1字符集，所以中文显示不出来，应该使用utf8；但是很奇怪，我整个Mysql...

原创 Sqoop导数据用法

Sqoop基本操作一：Sqoop的安装以及配置1.1：将Sqoop解压1.2:重命名配置文件并进行配置：mv sqoop-env-template.sh sqoop-env.sh1.3:将JDBC的驱动考到Sqoop的lib目录下cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop/lib/二：验证Sqoop是否能连接数据库sqoo...