安装Anaconda,
用xftp上传anaconda
安装前需要安装bzip2 yum -y installbzip2(root下)
然后安装anaconda:bashAnaconda3-5.0.1-Linux-x86_64.sh
安装过程一路回车就行 遇到这个情况就写yes
然后source ~/.bashrc 更新环境变量,查看jupyter-notebook--ip he
复制地址就可以进去了
Spark安装:
用xftp上传:
解压,配置环境变量加入:
export SPARK_HOME=/home/hadoop/opt/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
输入pyspark测试:
安装mysql在centos7中
切换root
去mysql官网:https://dev.mysql.com/downloads/repo/yum/ 下载第一个
下载完执行:rpm -Uvh mysql57-community-release-el7-11.noarch.rpm
下一步安装mysql:yum install mysql-community-server -y
修改关闭密码验证
ALTER USER 'root'@'localhost' IDENTIFIED BY 'MyNewPass4!'
修改 /etc/my.cnf 在最后添加
plugin-load=validate_password.so
validate-password=OFF
打开:
systemctl start mysqld
进入mysql:mysql-u用户名 -p密码
修改密码
ALTER USER 'root'@'localhost' IDENTIFIED BY'root';
开启远程访问
GRANT ALL PRIVILEGES ON *.* TO '用户名'@'%'IDENTIFIED BY '密码' WITH GRANT OPTION;
FLUSH PRIVILEGES
安装成功
查看数据库:
Show databases
安装hive,进入目录:
配置元数据库地址
找name 改value
第一个:(找不到的话就按n)
/javax.jdo.option.ConnectionURL
jdbc:mysql://python2:3306/hive?autoReconnect=true&useUnicode=true&createDatabaseIfNotExist=true&characterEncoding=utf8&useSSL=false&serverTimezone=UTC
/javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
/javax.jdo.option.ConnectionUserName
Root
/javax.jdo.option.ConnectionPasswo
root
/hive.metastore.warehouse.dir #hadoop集群位置(这个默认就可以 不用改)
初始化hive元数据和启动hive
配置环境变量:
启动hive
schematool -dbType mysql -initSchema
然后敲hive会报错,找到报错问题,找到默认文件位置,自己创建一个在hadoop目录下,去刚刚hive_site.xml文件,把报错的路径复制,去这个文件查找,把所有查找到的value全部改成自己在hadoop目录下创建的那个文件夹