进入系统,设置开机以root用户启动:
进入root模式:
su root
修改配置文件:
vi /etc/gdm/custom.conf
在[daemon]下写入:
AutomaticLoginEnable=True
AutomaticLogin=root
准备工作:
-
修改主机名
vim /etc/sysconfig/network 在文件中加入: NETWORKING=yes HOSTNAME=hadoop vim /etc/sysconfig/network-scripts/ifcfg-ens33 最后一行加入: HOSTNAME=hadoop vim /etc/hostname 删掉原有的一行,加入: hadoop ifconfig,找到自己ens##的ip(如192.168.159.130),然后: vim /etc/hosts 删除原有的内容,加入: 192.168.159.130 hadoop localhost
2. 免密登录
ssh-keygen -t rsa
之后全都直接回车:
然后:
3. 创建文件目录
4. 将需要安装的软件的压缩包放到software中
5. 配置java环境
Centos7自带了jdk1.8,要先卸载。
卸载原本的jdk,noarch文件可以不删:
然后解压jdk到app目录下,并改名:
tar -zvxf jdk-8u231-linux-x64.tar.gz -C ~/app
配置环境变量,激活配置文件:
6. 安装hadoop
解压压缩包,并改名:
修改Hadoop配置文件:
hadoop-env.sh,将文件原有的JAVA_HOME注释掉,加入本机的路径:
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/app/tmp</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置环境变量,并生效:
格式化DFS文件系统:
启动集群并检查:
关闭防火墙:
永久关闭防火墙
systemctl stop firewalld.service
查看hadoop网页:
Ip(如:192.168.159.130):50070
配置yarn:
复制模板文件配置mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动yarn:
查看web端:
Ip(如:192.168.159.130):8088
测试yarn:
创建file,提交到hdfs上运行:
出现了VM warning,出现这个问题基本都是在64位操作系统上,这主要是因为Hadoop官网上下载的本地库文件都是基于32位系统编译的,如果在64位系统上运行会出现这个问题错误。
在etc/hadoop/目录中的 hadoop-env.sh和yarn-env.sh 这两个文件中添加如下两行代码:
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
如果不想看NativeCodeLoader WARN,可以配置log4j文件:
在文件最后面追加:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
执行命令测试:
hadoop jar /root/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input/wc/file /output/wc/file
7. 安装mysql(一开始安装出来很大的问题,最后发现,我安装的i686是32位的,应该安装x86的)
卸载自带的mysql和mariadb(已经删掉了,自己需要的时候百度)
按顺序安装mysql的组件
解决在CentOS上安装mysql出现/lib/ld-linux.so.2: bad ELF interpreter问题和缺少共享库libstdc++.so.6_tree_ifconfig的博客-CSDN博客
上面的是32位的错误安装,下面重新安装64位:
初始化mysql
查看临时密码:
启动mysql服务:
使用临时密码登录:
修改密码:
刷新:
重新登录,并开放权限:
8. 安装hive
解压到app目录下:
配置hive:
hive-env.sh:
出bug,不配了
hive-site.xml:(新文件)
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/spark?createDatabaseIfNotExsit=true;characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>数据库root的密码</value>
</property>
</configuration>
拷贝架包:
初始化hive
失败了
9. 配置maven
解压,改名:
设置环境变量:
配置settings.xml:
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
<localRepository>/root/repository</localRepository>
检查是否安装成功:
10. 配置scala
安装并改名:
配置环境:
检查:
11. 配置git
卸载原有版本:
解压压缩包,改名:
安装依赖
yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install gcc perl-ExtUtils-MakeMaker
安装:
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/root/app/git/bin" >> .bash_profile
source /etc/profile
检查:
配置git:
git config --global user.name "1210611257"
git config --global user.email “1210611257@qq.com”
查看配置是否生效
git config --list
创建本地仓库:
mkdir gitspace
cd gitspace
git init
配置github
12. 安装IDEA
centos7中idea的安装与部署 - 活跃星竹 - 博客园 (cnblogs.com)
然后覆盖即可。