![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 60
真香IT
这个作者很懒,什么都没留下…
展开
-
使用shell生成指定范围日期序列
在shell 脚本中,需要产生一个指定范围的日期序列, 输入的数值为开始时间和结束时间,输出范围中的所有日期。原创 2022-09-21 13:57:41 · 1328 阅读 · 0 评论 -
CDH6下线DataNode节点
CDH6下线DataNode方案原创 2022-08-10 17:04:12 · 1666 阅读 · 1 评论 -
impala快速入门
impala快速入门1. 什么是impala ?2. impala的优缺点3. impala的架构组成4. impala的运行原理5. impala的监控管理6. impala-shell6. impala的外部shell操作7. impala的内部shell8. impala的数据类型9. impala的DDL操作创建数据库创建表分区表10. impala DML操作数据导入数据导出11. impala DQL操作12 函数自定义函数13. 存储和压缩14 impala优化1. 什么是impala ?原创 2022-05-11 09:20:53 · 5616 阅读 · 0 评论 -
快速了解HIVE文件存储格式
快速了解HIVE文件存储格式一 列式存储和行式存储二 TEXTFILE格式三 Sequence Filea 、Sequence File优缺点b、Sequence File格式1、未压缩格式2、基于record压缩格式3、基于block压缩格式四 Avro Filea 、简介b、应用场景c、结构d、优点e、缺点五 ORC格式六 PARQUET格式七 Apache Arrow新一代的存储格式a、Arrow简介b、Arrow是如何提升数据移动性能的八 BigData File Viewer工具a、介绍b、功能清原创 2021-08-18 22:22:49 · 902 阅读 · 0 评论 -
停止正在运行中的MapReduce任务
如何停止正在运行中的MapReduce任务找到任务的id , 如上图所示 , 新开一个连接窗口# 旧版通用命令hadoop job -list # 查看当前任务列表hadoop job -kill job_id # 杀掉某一任务# 上面的两个命令已经过时,被弃用了,但是还是能使用的,下面也给出新版命令yarn application -list # 查看当前任务列表yarn application -kill application_id # 杀掉某一任务查看任务列表1 hado原创 2021-01-03 20:49:01 · 1411 阅读 · 0 评论 -
好用hadoop脚本[持续更新]
好用hadoop脚本[持续更新]1. 快速启停Hadoop集群2. 快速同步文件[增量同步]3. 查看所有节点上的 jps 进程4. 快速启动hive3.x版本1. 快速启停Hadoop集群#!/bin/bashif [ $# -lt 1 ]then echo "没有输入参数,当前参数个数为0!" exit ;fi# 设置HDFS和YRAN的主机名称hdfs_host=node-1yarn_host=node-2# 获取HADOOP_HOMEH_M=`echo $HADOOP_H原创 2021-08-17 20:35:58 · 120 阅读 · 0 评论 -
真正解决 hadoop.io.native.NativeIO$Windows.access0(LJava/lang/String;I)Z报错
确认问题 : org.apache.hadoop.io.native.NativeID$Windows.access0(LJava/lang/String;I)ZException in thread “main” java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.native.NativeID$Windows.access解决方案这个问题的解决方法,在网上给出了千奇百怪的答案,可能你们已经看到了,我就不多赘述了,上答案;这个问题是由于windo原创 2021-01-02 22:02:47 · 477 阅读 · 0 评论 -
快速解决CentOS7网络问题 Failed to start LSB: Bring up/down networking
快速解决CentOS7网络问题 Failed to start LSB: Bring up/down networking一 问题描述二 解决办法三 解决参考图一 问题描述远程工具连接Linux主机失败报错ssh: connect to host 主机名 port 22: No route to host在真实机测试网络通断# : ping baidu.comping baidu.com : Name or service not known尝试重启网络服务主要报错 LSB: Bring原创 2021-08-19 10:06:09 · 429 阅读 · 0 评论 -
Hadoop编年史
2002 年 10 月,Doug Cutting 和 Mike Cafarella 创建了开源网页爬虫项目 Nutch。2003 年 10 月,Google 发表 Google File System 论文。2004 年 7 月,Doug Cutting 和 Mike Cafarella 在 Nutch 中实现了类似 GFS 的功能,即后来 HDFS 的前身。2004 年 10 月,Google 发表了 MapReduce 论文。2005 年 2 月,Mike Cafarella 在 Nutch .原创 2020-08-30 10:56:45 · 385 阅读 · 0 评论 -
hive表锁问题
hive表锁问题1. 报错情况2. hive表锁介绍3. 查看锁命令hive表锁只在涉及并发操作的时候才能遇到1. 报错情况-- 报错提示: FAILED: Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some time-- 解决办法:关闭并发 set hive.support.concurrency=false;-- 设置是否开启并发模式, 默认该参数没有原创 2022-05-05 17:06:10 · 2545 阅读 · 0 评论