hadoop
文章平均质量分 87
轻夏
这个作者很懒,什么都没留下…
展开
-
Hadoop-HA-Hive-on-Spark 4台虚拟机安装配置文件
spark-history(设置权限777),spark-jars文件夹。ln -s 源文件名 新文件名。ln -s 源文件名 新文件名。ln -s 源文件名 新文件名。链接hadoop中的文件。链接hadoop中的文件。上传jar到hdfs。链接hive中的文件。原创 2023-10-13 20:56:18 · 1163 阅读 · 0 评论 -
使用nginx-lua配置统一url自动跳转到hadoop-ha集群的active节点
配置nginx-conf,其中/root/run_shell/hadoop-status为脚本执行的路径,/tmp/hadoop-status.tmp是随便的一个文件,避免文件名冲突,注意是>不是追加>>,access_by_lua_block是lua脚本,需要要安装上面的带有lua脚本的nginx,ngx.log(ngx.ERR, result)是日志信息,调试的时候用,可以删掉,代码可以简化,懒得弄了,user root root;安装LuaJIT,安装路径/opt/luaJIT-2.1.0自行设置。原创 2023-08-31 11:13:58 · 1098 阅读 · 0 评论 -
一键配置单机伪分布式Hadoop脚本
一键配置单机伪分布式Hadoop脚本jdk要 jdk-8u241-linux-x64.rpmHadoop包要 hadoop-2.10.0.tar.gz主机名 node09ip地址 192.168.206.200配置:vi Hadoop.script粘贴脚本chomd +x Hadoop.script. Hadoop.scriptname='node09'ip='192.168.206.200'rpm -i jdk-8u241-linux-x64.rpmecho '********原创 2020-09-27 12:50:13 · 168 阅读 · 0 评论 -
Big Data Tools完整攻略,一键连接Hadoop
Big Data Tools完整攻略安装Big Data Tools连HDFS连Hadoop连Spark写HDFS程序安装Big Data Tools打开idea选择插件在Marketplace里面输入Big Data Tools,点击install之后在右边就显示出了Big Data Tools连HDFS点击左上角+,即可添加先选择HDFS之后就会出来这样的界面最上面的name随便写,这个是在idea里面看的如果你安装的是Windows的Hadoop, 那么选第一个,如果原创 2020-09-27 09:45:21 · 20449 阅读 · 8 评论 -
Centos配置单机Hadoop
Centos配置单机Hadoop打通网络配Java环境配Host名配hadoopSuccessfullyCentos配置单机Hadoop注意:VMware+Centos6.5部分图片,内容不符,截图着急,仅供参考,以文字为准打通网络1、登录2、cd /etc/sysconfig/network-scripts/vi ifcfg-eth0按i进入输入模式3、注释掉硬件地址 #HWADDR=00:1C:…4、UUID删掉5、网卡修改为可用模式 ONBOOT=yes6原创 2020-09-19 20:41:06 · 388 阅读 · 1 评论