大数据平台搭建学习笔记(Hadoop生态圈)
文章平均质量分 60
令人作呕的溏心蛋
人生何处不青山
展开
-
mapreduce在hdfs上运行计算(已打包好jar之后)
1. 在hdfs上创建/wordcount/inputhdfs dfs -mkdir /wordcount/input2. 将需要进行数据处理的.txt或.csv文件上传至/inputhdfs dfs -put /opt/f.txt /wordcount/input3. 上传打包好的MapReduce的jar包上传至/inputhdfs dfs -put /opt/MR.jar /wordcount/input4. 在hdfs上创建/wordcount/outputhdfs d原创 2022-05-13 00:46:45 · 468 阅读 · 0 评论 -
修改profile环境变量后Linux 基本命令不能用的解决方法
问题描述在配置profile文件的时候,发现好多命令都不能用了比如:ls, vi, cat等,提示:-bash: XX: No such file or directory解决方法在ssh终端中执行下面命令export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin然后修改/etc/profile文件,重新source后系统恢复正常...原创 2022-05-13 00:43:45 · 627 阅读 · 0 评论 -
centos7配置hive与spark-sql交互
1.配置hive-site.xml文件原来的值将<name>hive.metastore.schema.verification</name>的值改为false<value>false</value>2. hive中的hive-site.xml文件复制到spark/conf目录下cp /opt/hive/conf/hive-site.xml /opt/spark/conf3.将mysql驱动复制到spark/jars(lib)目录下4原创 2022-05-13 00:41:25 · 269 阅读 · 0 评论 -
centos7安装配置Hive
rpm -qa | grep -i mysql 查看rpm -e --nodeps 卸载1.官网下载安装mysql-serverwget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5.noarch.rpmyum install mysql-community-server2.安装成功后重启mysql服务service mysql原创 2022-05-13 00:38:14 · 2161 阅读 · 0 评论 -
spark在伪分布式和完全分布式的配置
Hadoop伪分布式下安装配置Spark1.安装并配置Sparktar xzvf 解压spark压缩包vim /etc/profile 配置spark环境变量2.配置spark-env.sh文件(先cp复制一份修改重命名后缀)cp /opt/spark/conf/spark-env.sh.tempalte /opt/spark/conf/spark-env.shvim /opt/spark/conf/spark-env.sh增加内容:export JAVA_HOME=/opt/jd原创 2022-05-13 00:22:42 · 525 阅读 · 0 评论 -
hadoop伪分布式和完全分布式配置
systemctl stop firewalld.service 防火墙的关闭命令 hadoop dfsadmin -safemode get 查看安全模式状态命令 hadoop dfsadmin -safemode enter 进入安全模式状态命令 hadoop dfsadmin -safemode leave 离开安全模式jdk配置rpm -qa | grep jdk 查看原有openJDKrpm -e --nodeps 移除原有openJDKvim /etc/prof原创 2022-05-13 00:17:01 · 935 阅读 · 0 评论