大数据
文章平均质量分 55
孩子加油孩子
我不怕千万人阻挡,只怕自己投降
展开
-
hadoop集群个别节点存储空间达到90%
所以需要小磁盘留有一定的空闲空间,查看hadoop资料,设置 dfs.datanode.du.reserved配置项可以使每个磁盘保留相应的磁盘空间,单位使用bytes,但是我设置之后起作用了,总体容量下降,依然往小盘上写数据,艹艹,我使用的hadoop版本是cloudera的cdh4.6。我们现在用的集群中,各个datanode使用空间差不多,但是由于有3台总的存储空间较小,导致使用量接近90%报警,网上查的方法都是说namenode写文件的时候。修改hdfs-site.xml:添加。原创 2022-11-07 10:28:34 · 1283 阅读 · 0 评论 -
hdfs小文件合并
hdfs小文件合并原创 2022-10-13 17:54:36 · 4355 阅读 · 0 评论 -
邮政储蓄银行面试题
一面: 4,5个人看着简历来问:1. postgresql 原理了解吗?2.postgres 调优是怎么进行的? 都调哪些参数3.java 技术栈都用哪些?4.springboot 和springcloud有什么区别?数据调优:是对软件配置调优还是对sql调优?sql调优的思路:pg的运行模式:数据库性能调优?springboot 和springcloud 的区别;hadoop hive 有没有搭建过;hadoop 的管理节点,数据节点;实际编写的...原创 2021-12-05 12:13:40 · 3082 阅读 · 0 评论 -
民生银行信用卡中心-大数据方向-笔试题
单选题请认真阅读每道题目,并按题目要求进行作答。1.大数据方向单选题一般5分得分5分以下关于Flume,说法错误的是( )A: Flume 以agent 为最小的独立运行单位,一个agent 就是一个JVM。单agent 由Source、Sink 和Channel 三大组件构成B: Flume 的数据流由事件(Event)贯穿始终,事件是Flume 的基本数据单位C: Flume 三种级别得可靠性保障,从强到弱依次为:end-to-end、- 4 -原创 2021-11-30 21:54:50 · 1499 阅读 · 0 评论 -
centos 编译hadoop2.6.0-cdh-5.10.0源码
在网上搜了一篇博客,然后按照上面的步骤进行操作,http://blog.csdn.net/linlinv3/article/details/49358217 遇到的问题: 1、java版本:一定要jdk7,不能是jdk8,否则报错.提示java版本有问题。 2、安装protoc , ./configure –prefix=/usr/local/protoc/ ; make; mak原创 2017-04-11 20:24:19 · 1392 阅读 · 0 评论 -
spark编译安装
spark 中文网站: https://blog.csdn.net/u012185296/article/details/76855770https://blog.csdn.net/yu0_zhang0/article/details/79250172方法一:mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2...原创 2018-05-03 10:12:50 · 289 阅读 · 0 评论 -
hive 使用方法-建表及导入导出数据(一)
1. 学习资料hive 官网: 不区分版本,所有信息都在一个文件汇总,会标记适合哪些版本 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL)一、基本使用法法 1) Create/Drop/Alter/Use Databasecreate database if not exists test_db;原创 2017-11-04 21:45:47 · 1448 阅读 · 0 评论 -
hive 使用方法--小工具(二)
1、小工具:desc student; 描述表desc extended student ; 查看表的集体详细信息(表的类型(内部表、外部表),表压缩否)desc format student ; 格式化输出表信息show functions ; 查看hive中的函数desc function upper; 描述函数desc function ex原创 2017-11-04 21:58:16 · 742 阅读 · 0 评论 -
HTTPFS 安装步骤及验证
昨天安装hdfs httpfs,遇到了几个问题,总是访问不成功,但在网上也查不到答案,今天总结一下:一、httpfs是什么?参考:http://debugo.com/hdfs-httpfs/官网:http://hadoop.apache.org/docs/r2.5.2/hadoop-hdfs-httpfs/ServerSetup.html1、httpfs是通过http协议来访问hdfs,自带to原创 2017-10-27 18:16:59 · 5724 阅读 · 3 评论 -
hadoop ha 高可用实现原理
转自:http://www.aboutyun.com/thread-22935-1-1.html问题导读:1、Hadoop1.x和Hadoop2.x架构有哪些区别?2、什么是QJM?3、如何理解QJM框架?4、如何理解主备切换机制?导语最近分享过一次关于Hadoop技术主题的演讲,由于接触时间不长,很多技术细节认识不够,也没讲转载 2017-10-18 10:52:28 · 5374 阅读 · 0 评论