![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台及运维类
loveProLife
我的个人简介!!!!!
展开
-
Ambari2.7.0离线部署实战
一、下载安装包wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/ambari-2.7.0.0-centos7.tar.gzwget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTIL...原创 2018-09-12 19:59:50 · 2495 阅读 · 0 评论 -
flume消费kafka消息的offset查看方法
kafka版本1.0.1flume版本1.8.0 offset已经不在zookeeper存储了,存储在__consumer_offsets这个topic里面,具体哪个consumer group存储在这个topic的哪个partition里面通过下面计算方法确定:public class HelloWorld {public static void main(String[] ...原创 2018-09-27 20:12:22 · 3475 阅读 · 0 评论 -
ambari下线机器节点流程步骤
1.下线前如果数据不均衡,需要均衡一下数据: hdfs dfsadmin -setBalancerBandwidth 67108864 hdfs balancer -threshold 52.ambari WEB管理平台操作NodeManager decommission3.ambari WEB管理平台操作HRegonServer decommission4.amb...原创 2018-10-11 10:43:58 · 2463 阅读 · 0 评论 -
pykafka压力测试代码
利用pykafka压力测试kafka,利用了多进程模式,根据自己机器调高进程数;with topic.get_producer(delivery_reports=True) as producer:如果使用上面的delivery_reports=True配置,能到达每秒几百兆的并发量,但是内存会持续暴涨;(此问题待解决)with topic.get_producer(sync=Tru...原创 2018-09-25 20:59:32 · 634 阅读 · 0 评论 -
阿里云部署hadoop之后50070,9000,8020等端口无法访问
1.登录阿里云控制台,在安全组添加规则,不限制端口;2.nc -v 阿里云公网IP 要测试的端口号;3.core-site.xml配置改成hdfs://0.0.0.0:90004.重启hdfs,yarn;5.netstat -ant | grep 要测试的端口号; 每一步都成功后,即可从任意机器访问阿里云上的hadoop的各个服务! 有问题加QQ群:8777...原创 2018-09-14 20:22:57 · 3309 阅读 · 0 评论 -
hadoop的Configured Capacity和DFS Remaining变成0的解决办法
Configured Capacity: 0 Configured Remote Capacity: 0 B DFS Used: 0 KB (0%) Non DFS Used: 0 GB DFS Remaining: 0 GB (0%) Block Pool Used: 0 KB (0%) DataNodes usages% (Min/M...原创 2018-09-13 20:32:50 · 5042 阅读 · 0 评论 -
centos查看在线用户及踢出方法
只需要在SHELL终端中输入命令:w 16:16:06 up 12 min, 1 user, load average: 0.14, 0.18, 0.13USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATroot pts/0 192.168.2.45 16:15 6.00s ...原创 2018-09-18 16:19:07 · 6296 阅读 · 0 评论 -
hadoop2.7迁移到hadoop3.1,hive数据迁移
本文采用distcp的方式迁移数据,有关distcp如何使用,请移步如下链接自行学习:https://hadoop.apache.org/docs/r3.1.0/hadoop-distcp/DistCp.html关于distcp的几点说明:1.如果跨版本迁移,官网推荐源目标要使用webhftp协议(此处有坑,hadoop0.x和1.x时时hftp协议,hadoop2.x把hftp协议名...原创 2018-09-17 17:36:37 · 1984 阅读 · 0 评论 -
hive或者pyspark或者别的程序需要与hive交互时,抛出权限异常的处理办法!
shell输入命令hive去连接,或者执行pyspark程序时,遇到以下错误,是因为遇到权限问题了,只需要在命令行执行以下shell,然后再执行hive命令或者执行pyspark程序就可以了:[root@ ~]$ export HADOOP_USER_NAME=hdfs根据下面异常里面的用户名去替换上面命令行的用户,实际情况以你的异常提示为准! Exception in thr...原创 2018-09-12 20:18:20 · 718 阅读 · 0 评论 -
hive表跨集群迁移
数据量比较大时,选择官方推荐方案distcp;1.创建目标数据库CREATE DATABASE IF NOT EXISTS xxxxxx LOCATION '/xxx/xxx/xxxx/xxxx.db';2.创建目标表,与原表信息博保持一致CREATE [EXTERNAL] TABLE `xxxx`(`uid` string,`channel` string)PARTI...原创 2018-11-16 17:29:02 · 2996 阅读 · 0 评论