大数据
夏目三三
不疯魔不成活
展开
-
Linux虚拟机安装oozie-4.0.0-cdh5.3.6
下载cdh5.3.6 密码: bqgj官方下载地址配置1.配置hadoop的 proxyUsercore-site.xml<!-- OOZIE --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>wqq</v...原创 2019-12-13 16:41:52 · 532 阅读 · 0 评论 -
Linux虚拟机安装flume-1.5.0-cdh5.3.6
下载cdh5.3.6 密码:bqgj官方下载地址配置1.修改conf文件夹下的flume-env.sh.template去除.template//更新前# export JAVA_HOME=/usr/lib/jvm/java-6-sun//更新后 export JAVA_HOME=/opt/module/jdk1.8.0_1442.flume下的/lib目录 引入Had...原创 2019-12-13 16:37:16 · 455 阅读 · 0 评论 -
Linux虚拟机安装sqoop-1.4.5-cdh5.3.6
下载cdh5.3.6 密码:7kh0官方下载地址配置1.sqoop-env-template.sh去除template//更新前#Set path to where bin/hadoop is available#export HADOOP_COMMON_HOME=#Set path to where hadoop-*-core.jar is available#expor...原创 2019-12-12 14:05:58 · 837 阅读 · 0 评论 -
Linux虚拟机安装hive-0.13.1-cdh5.3.6
下载cdh5.3.6 密码:7kh0官方下载地址配置在虚拟机的 /opt 下创建 cdh5.3.6 文件夹,并将hive-0.13.1-cdh5.3.6上传到 /opt/cdh5.3.6 下,然后进入 /hive-0.13.1-cdh5.3.6/conf下,更改配置。需要hadoop支持,查看 Linux虚拟机安装hadoop-2.5.0-cdh5.3.6需要Mysql支持,查看 L...原创 2019-12-11 13:18:42 · 772 阅读 · 0 评论 -
Linux虚拟机安装hadoop-2.5.0-cdh5.3.6
下载cdh5.3.6 密码:7kh0官方下载地址配置在虚拟机的 /opt 下创建 cdh5.3.6 文件夹,并将hadoop-2.5.0-cdh5.3.6上传到 /opt/cdh5.3.6 下,然后进入 /hadoop-2.5.0-cdh5.3.6/etc/hadoop下,更改配置。安装Hadoop 之前需要JDK环境,如何安装,查看 Linux虚拟机安装JDK下面的 wqq 是虚拟...原创 2019-12-10 09:27:33 · 444 阅读 · 0 评论 -
Linux虚拟机安装JDK
包含JDK1.8 密码:7kh0在虚拟机的 /opt 下创建module 文件夹,并将解压后的 jdk 上传到 /opt/module 下。编辑 profile 文件:vi /etc/profile增加java环境:#java environmentexport JAVA_HOME=/opt/module/jdk1.8.0_144export CLASSPATH=.:${JAVA...原创 2019-12-10 09:25:14 · 411 阅读 · 2 评论 -
Centos修改主机名hostname
1.编辑hosts文件vi /etc/hosts添加,ipaddress 虚拟机ip地址 ,hostname 修改后的主机名ipaddress hostname2.命令设置hostnamectl set-hostname hostname3.查看hostname文件,发现已经更改vi /etc/hostname4.reboot,重启虚拟机即可。输入 hostname 可查看...原创 2019-12-09 09:02:31 · 315 阅读 · 0 评论 -
在Mac 上搭建Linux虚拟机
安装时的环境:VMware Fusion 11.5.1(官网最新版,先找一下网上是否有公开的系列号)(该网址找到对应11.5.1的序列号【XKZYV-PK9CC-A1Y0X-K5HZL-Y65ZV】)MacBook proMacOS: 10.14.6Linux版本: CentOS7 64位镜像下载(CentOS 7)CentOS官网下载地址:CentOS7安装时使用的是:Ce...原创 2019-12-03 10:50:32 · 1137 阅读 · 0 评论 -
Mac上VMware fusion Linux虚拟机无法联网
如下所示解决办法:需要修改虚拟机的网络配置。1.在Mac本机的根目录下(注意,不是个人用户目录),如:/Library/Preferences/VMware\ Fusion/vmnet8/nat.conf使用cat命令,或者直接打开 nat.conf 文件,记录文件开头的下述地址:# NAT gateway addressip = 192.168.2X2.2netmask = 25...原创 2019-12-06 15:05:13 · 4031 阅读 · 1 评论 -
linux虚拟机安装mysql5.7
mysql5.7 百度云盘 密码:f79g安装1.创建/usr/share/java目录mkdir -p /usr/share/java2.将解压后的mysql-connector-java-5.1.47.jar放入/usr/share/java目录下,并更改名称为mysql-connector-java.jar3.卸载mariadb查看版本rpm -qa|grep maria...原创 2019-12-04 15:23:11 · 660 阅读 · 0 评论 -
本机无法访问虚拟机hdfs文件系统
1.首先查看虚拟机hadoop是否已经启动服务2.查看虚拟机防火墙是否开启systemctl status iptables如果如下,需要先关闭防火墙:systemctl stop iptables此时再看状态:接下来就可以访问,ip:8088 、 ip:50070 、ip:50090 。但是将ip替换成hostname,还是会失败,此时需要再本机的/etc/hosts 文...原创 2019-12-05 14:40:33 · 1861 阅读 · 0 评论 -
export: not a valid identifier
想修改spark的配置环境,将spark-3.0.0-preview-bin-hadoop3.2改成spark-3.0.0报错如下export: `/usr/local/spark-3.0.0-preview-bin-hadoop3.2=/usr/local/spark-3.0.0': not a valid identifier情况一:查看 profile 文件,看看是否 ‘ = ’两...原创 2019-11-13 09:56:46 · 2073 阅读 · 0 评论 -
Mac上安装Spark3.0.0以及Hadoop
配置环境1. java环境若是已经配置,进行下一步;如果没有,请查看:Mac配置Java开发环境2. 免密SSHa) 修改主机名终端输入:hostname可查验当前主机名,如果返回 localhost,说明以前已经修改置成功。修改主机名(若主机名已经是localhost,忽略此步骤):sudo scutil --set HostName localhostb) 配置免密(若...原创 2019-11-13 09:49:01 · 2122 阅读 · 0 评论