- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据测试环境常用操作语句
1.Hdfs相关：hdfs dfs -put 文件名 hdfs路径举例:hdfs dfs -put application.conf /opt/data/dspAnalysis/hdfs dfs -mkdir +hdfs路径举例:hdfs dfs -mkdir /opt/data/dspAnalysisHdfs dfs -rm 文件名 hdfs dfs -rm -r 文件夹名 删除文件/...
2020-03-31 16:23:54
192
原创 关于oozie执行sqoop时报错权限不足异常
执行程序时一直Kill状态，查询日志报权限不够的问题，去对应分发的节点查看，发现启动hive的时候也会报权限不足的问题原因：在hive的配置文件定义了/opt/local/hive/iotmp文件夹，使用root账号创建了该文件夹，运行hive时使用的是hadoop账号，所以导致该问题。解决方法：先查询对应hive目录下的iotmp文件的权限更改权限chgrp -R hadoop io...
2020-01-15 14:53:07
512
原创 大数据测试个人拙见——结合工作实际情况
我日常工作中的大数据测试分为四个层级：1.数据采集 2.数据清洗 3.数据分析4.数据可视化1.数据采集首先说一下数据采集，目前我所接触的数据采集分两块，一部分是实时数据采集，一部分是触发式的数据采集。实时数据采集主要通过像fulume,logstash这样的数据采集工具或者一些java程序，通过crontab或者后台运行脚本来实时去数据源抓取数据存入hdfs,hbase这些存储工具中。像...
2019-08-06 17:18:34
441
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人