HADOOP
文章平均质量分 67
技术极客
这个作者很懒,什么都没留下…
展开
-
启动hive报错:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang
原文链接:http://www.shangdixinxi.com/detail-1151470.html从报错信息来看:一,java.lang.NoSuchMethodError 原因:1.系统找不到相关jar包 2.同一类型的 jar 包有不同版本存在,系统无法决定使用哪一个二,com.google.common.base.Precondi...原创 2020-01-09 19:29:08 · 7036 阅读 · 2 评论 -
Centos7关闭防火墙
sudo systemctl disable firewalld (永久关闭)sudo systemctl stop firewalld(临时关闭)-------------------采坑点:安装完hadoop并启动后,端口8088、8042、9870都在监听,但浏览器无法访问,怀疑防火墙导致的,关掉后能够正常访问netstat -an | grep 8088 即可查看...原创 2020-01-09 14:52:28 · 242 阅读 · 0 评论 -
Hadoop-Fedora24搭建Hadoop
1. 安装Java环境并配置好环境变量 /etc/profile末尾追加 export JAVA_HOME=/opt/java export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/b原创 2017-04-17 18:01:05 · 2375 阅读 · 0 评论 -
Hadoop-将python代码运行在hadoop上
1.启动hadoop, start-all.sh 启动hadoop2. copy local example data to hdfs bin/hadoop dfs -copyFromLocal /opt/tmp /user/hduser/gutenberg3.开始运行 bin/hadoop jar contrib/streaming/hadoop-*streaming*.原创 2017-04-17 18:01:11 · 3652 阅读 · 0 评论 -
Hadoop-常用shell命令
1. copyFromLocal hadoop dfs -copyFromLocal /opt/tmp /user/hduser/gutenberg2.ls hadoop dfs -ls 输出:/user/hduser/gutenberg hadoop dfs -ls /user/hduser/gutenberg 输出:-rw-r--r-- 3 hduser su原创 2017-04-17 18:01:14 · 1988 阅读 · 0 评论 -
deeplearning-python-dlib、opencv安装及使用
安装dlibyum install cmakeyum install gcc-c++yum install boostyum install boost-devel #开发用pip install dlib安装opencvyum install opencv* 管理员在200原创 2017-04-17 18:04:56 · 2342 阅读 · 0 评论 -
Apache Hadoop与第三方Hadoop-CDH,HDP,MapR的分析与比较
转自:http://www.lishiyu.cn/post/58.html一、Hadoop版本综述 目前Hadoop发行版非常多,有华为发行版、Intel发行版、Cloudera发行版(CDH)等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。...转载 2018-09-16 14:47:47 · 1093 阅读 · 0 评论 -
Cloudera(CDH) 简介和在线安装
转自:https://blog.csdn.net/Kim_Weir/article/details/79934308Cloudera 简介 Cloudera 官网:https://www.cloudera.com Cloudera 官方文档: https://www.cloudera.com/documentation/enterprise/latest.htmlCDH是Ap...转载 2018-09-16 14:49:32 · 4106 阅读 · 0 评论 -
大数据平台简介-CDH,HDP
转自:https://blog.csdn.net/qichangjian/article/details/77839073 Hadoop的发行版本有很多,有华为发行版,Intel发行版,Cloudera发行版(CDH),MapR版本,以及HortonWorks版本等。所有发行版都是基于Apache Hadoop衍生出来的,产生这些版本的原因,是由于Apache Hadoop的开源协议决定的:任...转载 2018-09-16 14:50:20 · 6671 阅读 · 0 评论