![](https://img-blog.csdnimg.cn/20200426190651275.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
Hadoop的各种日常操作和优化方法
边海聆音
这个作者很懒,什么都没留下…
展开
-
分布式部署Apache Hive,使用MySql作为hive的元数据数据库
1.首先需要部署分布式Hadoop:谷歌云分布式部署Hadoop2.然后下载并解压Hive:这里选择Hive的2.3.6版本,目录地址:http://apache.tt.co.kr/hive/wget http://apache.tt.co.kr/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gztar zxvf apache-hive-2...原创 2020-03-05 14:07:34 · 284 阅读 · 0 评论 -
Hadoop 谷歌云上实现分布式部署(ubantu 18.04)
首先需要对云端服务器的ssh进行设置以实现免密码互联:谷歌云服务器设置多服务器间ssh免登录连接(ubantu 18.04)然后需要设置host(这里有个大坑,就是所有的主机都应该通过内网ip互联,否则就会出现namenode或者datanode无法启动的现象)sudo vim /etc/hosts将文件内容改为这样(如果slave多就直接写在下一行就行):192.168....原创 2020-02-14 18:45:49 · 347 阅读 · 0 评论 -
谷歌云服务器设置多服务器间ssh免登录连接(ubantu 18.04)
为了让谷歌服务器间可以互相连接,首先需要修改部分ssh设置:sudo vim /etc/ssh/sshd_config找到passwordAuthentication项,修改成yesPermitRootLogin without-password改为 PermitRootLogin yes重启ssh服务:sudo service sshd restart密码设置:sudo p...原创 2020-02-14 14:30:06 · 425 阅读 · 0 评论 -
在谷歌云服务器(ubantu 16.04)上部署单机hadoop(2.9.2)环境
要想部署hadoop,首先下载并配置java(JDK)程序,这里使用jdk81 部署JDKsudo apt-get update && \sudo apt-get -y install openjdk-8-jre && \sudo apt-get -y install openjdk-8-jdk安装成功以后设置环境变量输入以下命令:cd ...原创 2019-12-07 16:15:52 · 164 阅读 · 0 评论 -
tableau 连接hadoop
下载安装ODBC打开ODBC官网下载链接,选择相应操作系统对应的版本,本文下载的是mac版本的odbc。下载完成后,和一般软件一样点击安装即可。ps: 需要登录后,方可下载,所以需要注册一个cloudera的账号。配置连接属性...原创 2020-04-20 10:27:43 · 606 阅读 · 0 评论 -
使用Hive的Hiveserver2的一些命令备忘
hiveserver2 &beeline!connect jdbc:hive2://localhost:10000/defaulthiveserver2运行端口10000原创 2020-04-04 13:28:42 · 167 阅读 · 0 评论 -
Beeline 连接Hiveserver2 中一些需要配置的文件
一,在$HADOOP_HOME/etc/hadoop/core-site.xml文件中添加以下两条属性<property> <name>hadoop.proxyuser.username.groups</name> <value>*</value></property><property> &...原创 2020-04-04 13:23:53 · 357 阅读 · 0 评论 -
spark常用操作
原创 2020-03-13 19:09:14 · 92 阅读 · 0 评论 -
Presto 连接Hive启动流程【备忘】
source /etc/profilestart-all.shhive --service metastore &launcher startpresto --server master:7670 --catalog hive --schema default原创 2020-03-07 14:13:42 · 236 阅读 · 0 评论 -
解决ubuntu环境下启动Presto报错:/usr/bin/env: 'python': No such file or directory
配置项和这位一样:Presto调用Hive启动时显示报错/usr/bin/env: 'python': No such file or directory注意presto/bin/launcher的这个句子:exec "$(dirname "$0")/launcher.py" "$@"这句话实际上就等于./launcher.py 参数测试:./launcher.py ...原创 2020-03-07 10:15:40 · 2602 阅读 · 2 评论 -
安装sqoop并使用sqoop访问mysql
首先下载sqoop:wget http://mirror.navercorp.com/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gztar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop然...原创 2020-03-06 15:43:00 · 388 阅读 · 0 评论