Hadoop
文章平均质量分 61
因渺小而伟大
努力不一定会带来改变,但可能是一个让你变得‘好一点’的机会,虽然有时看着那些比你聪明还比你优秀的人确实会觉得不公平,但笨一点没关系,慢一点也无所谓,反正每前进一点就甩掉了几个比你不行的人,前方有路,身后有人,能吃能睡,至少还活着,就都有可能。
展开
-
hive遇到的问题之一
今天记录一下使用Hql遇到的一个问题map和reduce都执行完了本以为能出结果了,最后突然报了一个Bug果然不能对程序抱有太大的期望,期望越大,失望越大我看到这个Bug之后,查看hive的日志发现,跟执行hive的界面报的是一样,看不出啥东西出来,后来使用hadoop的history:8088查看聚合的日志,发现在UI这里是启动了4个map一个reduce,reduce是没有logs的看来...原创 2020-03-24 22:30:01 · 602 阅读 · 0 评论 -
hive的 group 、distribute 、sort 、cluster、order 区别
order byhive 的语法大部分从mysql中继承过来一来节约学习成本,二是对习惯了mysql语法的更易于编程,order by 便是这样移植了过来,但放在大数据这种环境下,显得可有可无了,因为处理数仓的数据量都是非常大的,如果使用order by 便是对所有数据做一次全排序,并且只开启一个reduce来排序。效率低下,消耗的资源的代价将是非常大的,所以它的适用场景是在数据量很小的情况下才...原创 2020-03-21 21:44:31 · 517 阅读 · 0 评论 -
搭建ha遇到的问题
在搭建好ha集群后发现配置都是对的还是无法实现故障自动转移,遇到这个问题卡了一段时间,今天重新又搭建一遍,终于找到问题所在了,当初自已太傻了除了zookeeper的日志没看过,其他所有的都看了一遍都没发现有问题,今天看了一下zookeeper的发现原来是这个问题导致无法实现自动故障转移,产生原因是最小化安装centos的时候,没有fuser这个命令,导致无法fenceyum install ...原创 2020-03-05 21:43:43 · 365 阅读 · 0 评论 -
Hadoop2.7.7完全分布式
HADOOP完全分布式实验报告2018年7月17日星期三编写 修改IP地址cd /etc/sysconfig/network-scriptsvi 第一个文件名或者有字母数字的文件名#修改相应的配置BOOTPROTO=”static” #静态获取IP地址ONBOOT=“yes” #开机使用本配置IPADDR= #IP地址NETMASK=255.255.255.0 #...原创 2019-12-30 15:46:25 · 346 阅读 · 0 评论 -
spark安装
单机部署Spark目录结构介绍bin:提交运行Spark程序的脚本conf:配置文件所在的目录data:测试数据examples:样例程序和源码jars:jar lib的目录LICENSE:顾名思义,license文件licenses:依赖的第三方组件的licenseslogs:默认的日志目录NOTICEpython:Python相关的脚本、文档和libR:R语言相关的文档...原创 2019-12-30 15:31:39 · 141 阅读 · 0 评论 -
hadoop的高可用搭建
HA集群的搭建可以在完全分布式的基础上搭建目的:实现高可用的集群减少故障的发生配置时间同步服务器所有节点执行yum -y install ntpntpdate ntp1.aliyun.com免密登录所有节点执行ssh keygenssh-copy-id –I .ssh/id_rsa.pub master1…配置core-site.xml fs.def...原创 2019-12-30 14:38:57 · 261 阅读 · 0 评论 -
hive安装
配置hive-site.xml:cp hive-default.xml.template hive-site.xmlvi hive-site.xml<property> <name>hive.metastore.warehouse.dir</name> <value> /hive /warehouse</value&...原创 2019-12-25 11:32:17 · 112 阅读 · 0 评论 -
Mysql-Centos版安装
Mysql5.6.46版本离线安装卸载系统自带的Mariadbrpm -qa|grep mariadb // 查询出来已安装的mariadbrpm -e --nodeps 文件名 // 卸载mariadb,文件名为上述命令查询出来的文件1.解压tar -zxvf mysql5.6.tar.gz /usr/lcal2.添加系统mysql组和mysql用户:groupadd mysq...原创 2019-12-24 19:32:25 · 196 阅读 · 0 评论