Ubuntu 下安装环境杂项（一）

最新推荐文章于 2024-10-12 14:41:07 发布

蚩尤紫馨

最新推荐文章于 2024-10-12 14:41:07 发布

阅读量724

点赞数

分类专栏： GIS Ubuntu 文章标签： ubuntu gis

本文链接：https://blog.csdn.net/firefly2123/article/details/106954116

版权

GIS 同时被 2 个专栏收录

7 篇文章 0 订阅

订阅专栏

Ubuntu

3 篇文章 0 订阅

订阅专栏

geowave和geomesa安装一直没成功，保留博客只是为了其中附带的其他程序的安装方式

最近需要研究一下geomesa，没想到却进了Ubuntu的坑。geomesa需要安装一大堆依赖项，本人做Linux系统也非常不熟。本文记录 Ubuntu 20.04 LTS 下安装 geomesa 的全部过程。

1、下载 ubuntu-20.04-desktop-amd64.iso，在虚拟机下使用典型方式安装 Ubuntu 20.04 LTS

地址：https://ubuntu.com/download/desktop
下载地址：https://releases.ubuntu.com/20.04/ubuntu-20.04-desktop-amd64.iso

成功以后，更新系统语言为中文

2、更新apt

apt 命令是一个功能强大的命令行工具，它不仅可以更新软件包列表索引、执行安装新软件包、升级现有软件包，还能够升级整个 Ubuntu 系统(apt 是 Debian 系操作系统的包管理工具)。

使用命令：

sudo apt update
sudo apt upgrade

参考：

3、安装net-tools工具包，以便运行ifconfig命令

sudo apt install net-tools           //使用apt源安装net-tools工具包

4、安装openssh-service，以便可以使用xshell连接 Ubuntu 系统

sudo apt-get install openssh-server 
ssh localhost   # 登录本机。首次登录会有提示，输入yes，接着输入当前用户登录电脑的密码即可。
exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权
# 配置完成之后再使用 $ ssh localhost 登录就不需要密码了。

参考：

https://www.cnblogs.com/sench/p/8542175.html

5、安装系列工具 vim

sudo apt install vim
sudo apt install cscope
sudo apt install ctags
sudo apt install git
sudo apt install build-essential cmake python-dev python3-dev
git clone https://github.com/VundleVim/Vundle.vim.git ~/.vim/bundle/Vundle.vim

参考：

https://blog.csdn.net/wanghuasn911/article/details/106309617 在ubuntu 20.04上安装vim 8 并且配置vim成为可视化工具

6、Ubuntu 20.04安装配置GitLab

依次运行如下命令

sudo apt update
sudo apt install ca-certificates curl openssh-server postfix
curl -sS https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh | sudo bash
sudo apt install gitlab-ce

会出现错误，

运行

sudo vim /etc/apt/sources.list.d/gitlab_gitlab-ce.list

将内容修改为：

deb https://packages.gitlab.com/gitlab/gitlab-ce/ubuntu/ xenial main
deb-src https://packages.gitlab.com/gitlab/gitlab-ce/ubuntu/ xenial main

再运行

sudo apt-get update
sudo apt-get install gitlab-ce

虚拟机下的Ubuntu系统默认防火墙没有打开，不需要考虑防火墙配置。

编辑GitLab配置文件

sudo vim /etc/gitlab/gitlab.rb

顶部附近是external_url配置线。修改为，其中ip地址为ifconfig查询出来的Ubuntu地址

external_url 'https://192.168.134.131:8899'

保存并关闭文件。运行以下命令重新配置Gitlab，重启Gitlab：

sudo gitlab-ctl reconfigure
sudo gitlab-ctl restart

以上这段修改花费较长时间，开始配置的是https:127.0.0.1,结果报错“Whoops, GitLab is taking too much time to respond.”，后来参考了“https://blog.csdn.net/weixin_40816738/article/details/90551565”做的修改，输入重新配置命令后报错，反复几次还是报错，但是ip地址访问可以访问正确的git网站

访问地址 https://192.168.134.131:8899/ 其中，使用360浏览器会报错，使用谷歌、火狐浏览器可以正常访问

根据访问提示，将初始密码设置为“12345678”，即为root用户的密码

参考：保存并关闭文件。运行以下命令重新配置Gitlab：

以下内容和安装hadoop有关

7、Ubuntu 20.04安装pdsh

根据官网 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 要求，安装pdsh

根据Ubuntu系统提示，安装rdist

sudo apt-get install pdsh
sudo apt-get install rdist

参考：保存并关闭文件。运行以下命令重新配置Gitlab：

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

sudo apt-get update
sudo apt-get install openjdk-8-jdk

添加环境变量

sudo vim ~/.bashrc
# 在尾部加入
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${PATH}:${JAVA_HOME}/bin

重启系统

sudo shutdown -r now

参考：

https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions
https://www.cnblogs.com/bosslv/p/11078749.html Ubuntu安装openjdk8

8、Ubuntu 20.04安装hadoop

下载hadoop

地址：https://downloads.apache.org/hadoop/common/hadoop-3.2.1/
下载地址：https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

解压

sudo tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-3.2.1/ ./hadoop      # 将文件夹名改为hadoop
sudo chown -R firefly2123 ./hadoop       # 修改文件权限

sudo vim ~/.bashrc
# 在尾部加入
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

然后使用命令 source ~/.bashrc 让环境变量生效，使用命令 hadoop version 检查环境变量是否添加成功

安装后的hadoop默认为单机配置，无需其他配置即可运行。使用hadoop自带的单词统计的例子体验以下：

$ cd /usr/local/hadoop
$ mkdir ./input
$ cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
$ cat ./output/*          # 查看运行结果

结果为：

参考 https://www.cnblogs.com/sench/p/8542175.html 的“3.3 hadoop伪分布式配置”部分

hadoop的配置文件存放在/usr/local/hadoop/etc/hadoop下，要修改该目录下的文件core-site.xml和hdfs-site.xml来达到实现伪分布式配置。

修改core-site.xml，将<configure></configure>修改为：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml，将<configure></configure>修改为：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

配置完成后在/usr/local/hadoop下使用命令 $ ./bin/hdfs namenode -format 实现namenode的格式化，成功后会有“successfully formatted”及“Exiting with status 0”的提示，如下图：

此时，如果接着使用sbin/start-dfs.sh会报错：

参考 https://www.cnblogs.com/hosealyu1996/p/11571846.html 修改

在/etc/pdsh下面新建文件rcmd_default，写入ssh

编辑也可以用

sudo gedit /etc/pdsh/rcmd_default

再次运行sbin/start-dfs.sh依然报错：

运行

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

在54行附近插入，其中JAVA_HOME的值使用 “echo $JAVA_HOME” 查询获得：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

再次运行 sbin/start-dfs，/usr/local/hadoop/sbin/start-dfs.sh

再使用jps命令，查看Hadoop是否启动成功

参考：

以下内容和安装hbase有关

9、Ubuntu 20.04安装hbase

下载hbase，2.2.5版本有问题会报错，后改为了1.4.13

地址：https://mirrors.cnnic.cn/apache/hbase/
下载地址：https://mirrors.cnnic.cn/apache/hbase/1.4.13/hbase-1.4.13-bin.tar.gz

解压

sudo tar -zxvf hbase-1.4.13-bin.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hbase-1.4.13 ./hbase      # 将文件夹名改为hbase
sudo chown -R firefly2123 ./hbase       # 修改文件权限

sudo vim ~/.bashrc
# 在尾部加入
export HBASE_HOME=/usr/local/hbase
export PATH=${HBASE_HOME}/bin:$PATH

然后使用命令 source ~/.bashrc 让环境变量生效，使用命令 hbase version 检查环境变量是否添加成功

配置Java环境变量，并添加配置HBASE_MANAGES_ZK为true

vi /usr/local/hbase/conf/hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_MANAGES_ZK=true
export HBASE_PID_DIR=/var/hadoop/pids

编辑 hbase-site.xml 文件

vim /usr/local/hbase/conf/hbase-site.xml

内容如下：

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>file:/data/tools/software/hbase-1.3.6/cache</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>file:/data/tools/software/hbase-1.3.6/cache/zookeeper</value>
    </property>
</configuration>

接下来测试运行

sudo ./bin/start-hbase.sh
./bin/hbase shell

浏览器访问 http://192.168.134.131:16010/master-status 如下：

参考：

https://www.cnblogs.com/Chaser-Eagle/p/12008510.html
https://blog.csdn.net/ouzhuangzhuang/article/details/89876152
https://blog.csdn.net/qq_20545159/article/details/49454335 解决错误“stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory”

以下内容和安装geoserver有关

10、Ubuntu 20.04安装geoserver

下载geoserver 2.17.0, 版本 2.17.0 之前已经下载过，编写该内容时的官网版本为2.17.1 ，以下地址为2.17.1的，但是实际部署的是2.17.0

地址：http://geoserver.org/release/stable/
下载地址：https://netix.dl.sourceforge.net/project/geoserver/GeoServer/2.17.1/geoserver-2.17.1-bin.zip

解压

sudo mkdir /usr/local/geoserver
sudo chown -R firefly2123 /usr/local/geoserver
unzip geoserver-2.17.0-bin.zip -d /usr/local/geoserver
cd /usr/local/

尝试运行geoserver后，报错，端口占用，解决方法如下：

vim /usr/local/geoserver/start.ini

修改其中的端口为

jetty.port=18080

进入文件夹 /usr/local/geoserver/bin，运行 ./startup.sh

在浏览器中输入 http://192.168.134.131:18080/geoserver/web/，结果如下

默认用户名密码：

用户名：admin
密码：geoserver

Ubuntu 下安装 环境杂项（一）

以下内容和安装hadoop有关

以下内容和安装hbase有关

以下内容和安装geoserver有关

Ubuntu 下安装环境杂项（一）