大数据平台搭建学习笔记(Hadoop生态圈)
文章平均质量分 60
令人作呕的溏心蛋
人生何处不青山
展开
-
mapreduce在hdfs上运行计算(已打包好jar之后)
1. 在hdfs上创建/wordcount/input hdfs dfs -mkdir /wordcount/input 2. 将需要进行数据处理的.txt或.csv文件上传至/input hdfs dfs -put /opt/f.txt /wordcount/input 3. 上传打包好的MapReduce的jar包上传至/input hdfs dfs -put /opt/MR.jar /wordcount/input 4. 在hdfs上创建/wordcount/output hdfs d原创 2022-05-13 00:46:45 · 481 阅读 · 0 评论 -
修改profile环境变量后Linux 基本命令不能用的解决方法
问题描述 在配置profile文件的时候,发现好多命令都不能用了比如:ls, vi, cat等,提示: -bash: XX: No such file or directory 解决方法 在ssh终端中执行下面命令 export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin 然后修改/etc/profile文件,重新source后系统恢复正常 ...原创 2022-05-13 00:43:45 · 638 阅读 · 0 评论 -
centos7配置hive与spark-sql交互
1.配置hive-site.xml文件 原来的值 将<name>hive.metastore.schema.verification</name>的值改为false <value>false</value> 2. hive中的hive-site.xml文件复制到spark/conf目录下 cp /opt/hive/conf/hive-site.xml /opt/spark/conf 3.将mysql驱动复制到spark/jars(lib)目录下 4原创 2022-05-13 00:41:25 · 275 阅读 · 0 评论 -
centos7安装配置Hive
rpm -qa | grep -i mysql 查看 rpm -e --nodeps 卸载 1.官网下载安装mysql-server wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server 2.安装成功后重启mysql服务 service mysql原创 2022-05-13 00:38:14 · 2232 阅读 · 0 评论 -
spark在伪分布式和完全分布式的配置
Hadoop伪分布式下安装配置Spark 1.安装并配置Spark tar xzvf 解压spark压缩包 vim /etc/profile 配置spark环境变量 2.配置spark-env.sh文件(先cp复制一份修改重命名后缀) cp /opt/spark/conf/spark-env.sh.tempalte /opt/spark/conf/spark-env.sh vim /opt/spark/conf/spark-env.sh 增加内容: export JAVA_HOME=/opt/jd原创 2022-05-13 00:22:42 · 535 阅读 · 0 评论 -
hadoop伪分布式和完全分布式配置
systemctl stop firewalld.service 防火墙的关闭 命令 hadoop dfsadmin -safemode get 查看安全模式状态 命令 hadoop dfsadmin -safemode enter 进入安全模式状态 命令 hadoop dfsadmin -safemode leave 离开安全模式 jdk配置 rpm -qa | grep jdk 查看原有openJDK rpm -e --nodeps 移除原有openJDK vim /etc/prof原创 2022-05-13 00:17:01 · 947 阅读 · 0 评论