2020-09-24

于 2020-09-24 16:55:33 发布
阅读量125 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41172574/article/details/108777709
版权

Hadoop+Zookeeper+Hbase+JanusGraph伪分布式（单机版）环境搭建

1.准备工作

  • 安装jdk

安装jdk1.8.x并配置环境变量（该步骤省略） 使用 java -version 进行验证

  • 下载相关环境包

    可在官网进行下载，附下载地址：下载

 注意：hadoop+hbase+janusgraph+elasticsearch需要参考版本对照，zookeeper下载最新版本即可，这里es我使用其他的集群服务器 

 这里我使用的是hadoop-2.7.7+hbase-2.1.5+zookeeper-3.6.2+hbase-3.6.2+janusgraph-0.4.0+elasticsearch-6.7.1 

将安装包解压到 /opt/ 下并改名，方便后期升级环境频繁修改环境变量

 

  • 配置环境变量：

    # HADOOP
export HADOOP_HOME=/opt/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/natie
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"     # 不指定会找不到native库
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
​
# HBASE
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HADOOP_HOME/bin
​
# ZOOKEEPER
export ZOOKEEPER_INSTALL=/opt/zookeeper
export PATH=$PATH:$ZOOKEEPER_INSTALL/bin
export HADOOP_HOME=/opt/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/natie
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"     # 不指定会找不到native库
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
​
# HBASE
export HBASE_HOME=/opt/hbase
export PATH=$PATH:$HADOOP_HOME/bin
​
# ZOOKEEPER
export ZOOKEEPER_INSTALL=/opt/zookeeper
export PATH=$PATH:$ZOOKEEPER_INSTALL/bin

 

  • 验证：

    hadoop version #hadoop
hbase version # hbase
echo stat|nc localhost 2181 # zookeeper需启动验证#hadoop
hbase version # hbase
echo stat|nc localhost 2181 # zookeeper需启动验证

 

2.hadoop部署

  • 创建临时目录，这里系统不会自动创建

    mkdir /opt/hadoop/tmp
mkdir /opt/hadoop/dfs/name
mkdir /opt/hadoop/dfs/data
mkdir /opt/hadoop/var /opt/hadoop/tmp
mkdir /opt/hadoop/dfs/name
mkdir /opt/hadoop/dfs/data
mkdir /opt/hadoop/var

 

  • 修改conf/hadoop-env.sh文件

    # 将${JAVA_HOME}改为具体路径
export JAVA_HOME=/usr/java/jdk1.8.0_74
​
# 指定native库，/etc/profile不一定生效
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/natie
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"
export JAVA_HOME=/usr/java/jdk1.8.0_74
​
# 指定native库，/etc/profile不一定生效
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/natie
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native/"

     

  • 修改etc/hadoop/core-site.xml文件

    <configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

     

  • 修改etc/hadoop/hdfs-site.xml配置文件

    <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/dfs/data</value>
    </property>
</configuration>configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/dfs/data</value>
    </property>
</configuration>

     

  • 修改etc/hadoop/mapred-site.xml

    <configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
    <property>
        <name>mapred.local.dir</name>
        <value>/opt/hadoop/var</value>
    </property>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
    <property>
        <name>mapred.local.dir</name>
        <value>/opt/hadoop/var</value>
    </property>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

     

  • 启动hadoop

    # 首次启动，需进行初始化
cd /opt/hadoop/bin
./hadoop namenode -format
​
# 进入sbin目录启动，启动顺序namenode->datanode->secondarynamenode
cd /opt/hadoop/sbin
./start-dfs.sh
​
# 启动YARN
./start-yarn.sh
cd /opt/hadoop/bin
./hadoop namenode -format
​
# 进入sbin目录启动，启动顺序namenode->datanode->secondarynamenode
cd /opt/hadoop/sbin
./start-dfs.sh
​
# 启动YARN
./start-yarn.sh

     

  • 查看启动状态

      

 

 

3.zookeeper部署

  • 创建数据目录和日志目录，以及myid文件

    mkdir /opt/zookeeper/data
mkdir /opt/zookeeper/logs

# 创建myid文件，并写入数字1
echo 1 >> myid

     

  • 同级目录下复制conf/zoo_sample.cfg文件，并改名为zoo.cfg

    dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs

# 数字1与myid文件对应，2888是该server和集群中的leader通信端口,3888是选举leader的端口
server.1=zookeeper:2888:38888

#限制zookeeper的客户端链接数量,设置为0或者不设置表示取消对并发连接的设置
maxClientCnxns=0

#最小会话超时时间和最大会话超时时间
minSessionTimeout=4000
maxSessionTimeout=10000

 

  • 启动zookeeper

    cd /opt/zookeeper/bin
./zkServer.sh start

    jps命令查看是否启动QuorumPeerMain服务

     

    进入zookeeper的安装目录执行bin/zkCli.sh

         

       执行ls / 查看当前根目录下的节点 发现有一个zookeeper的节点

​​​​​​​         

4.hbase部署

  • 修改conf/hbase-env.sh

    export HBASE_PID_DIR=/opt/hbase/data/pids
# 是否启用hbase自带的zookeeper，这里我们进行了单独安装，选择false
export HBASE_MANAGES_ZK=false
export HBASE_LOG_DIR=/opt/hbase/logs
export JAVA_HOME=/usr/java/jdk1.8.0_74

 

  • 修改conf/hbase-site.xml

    <configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <!-- 是否为单机版 false为单机版 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>localhost:2181</value>
    </property>
    <!-- 这里的路径需要与janusgraph-hbase-es.properties文件中对应 -->
    <property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
    </property>
    <!-- zookeeper超时时间 -->
    <property>
        <name>zookeeper.session.timeout</name>
        <value>120000</value>
    </property>
</configuration>

     

  • 启动hbase

    cd /opt/hbase/
./start-hbase.sh
jps
# 出现Hmaster和HRegionServer服务代表启动成功

    访问http://ip:16010进UI页面

     

 

红茶泡面zZ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[limetorrents.info]Microsoft.source.code.archive_2020-09-24.torrent
10-14
微硬源码种子，本人已经试用过，并且在做种中，推荐使用qBittorrent进行分享，大家一起来分享学习，如侵权请告知删除
ZooKeeper完全解析(三) 使用Java操作ZooKeeper
HappyHeng的博客
10-16 3878
  在上一篇中，我们讲解了ZooKeeper的相关操作命令，链接为 ZooKeeper完全解析(二) zooKeeper命令详解，这一篇中，我们将会详细的讲解如何使用Java操作ZooKeeper。 一、引入依赖与建立连接：   注意ZooKeeper连接池的版本最好与使用的ZooKeeper版本一致，比如使用的ZooKeeper版本为 3.4.13，那么引入的连接池依赖即为： &lt;d...
To display the conditions report re-run your application with 'debug' enabled.
kelly921011的博客
09-17 5624
报错信息： Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled. 2019-09-17 13:29:41.132 ERROR 8108 --- [ main] o.s.b.d.LoggingFail...
部署blog的时候，出现了以下错误
Kp0fS的草稿纸
04-07 390
严重: ContainerBase.addChild: start: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].StandardHost[192.168.0.109].StandardContext[/my-blog-3.0.1-SNAPSHOT]] ...
JanusGraph集群搭建，多图配置及索引
mazhen_null的博客
03-08 1227
[b]下载和启动实例[/b] 1、下载和启动Cassandra，生产环境会使用HBase作为Storage backend，但在开发环境部署HBase比较复杂 http://cassandra.apache.org/download/ 下载3.11.2 解压后 sh bin/cassandra -f， 默认绑定IP：127.0.0.1 PORT：9042 启动thrif...
Atlas集群HA模式部署
weixin_42728895的博客
05-10 1714
Atlas 源码的编译此处省略，网上有很多资料。Atlas编译后会自动生成一系列安装包，选择apache-atlas-2.0.0-bin.tar.gz进行安装。注：编译源码包时，选择不包含自带的solr和hbase 本文按照生产模式进行安装，atlas HA, solr HA , hbase HA。 准备3台服务器，默认Hbase和zookeeper已经安装启动好 hadoop101 hadoop102 hadoop103 参考链接： https://www.cnblogs.com/shengyan
2020-05-09
zero_one666的博客
05-09 1452
1/The easiest thing in the world is persistence. The hardest thing is persistence. Keep in mind that persistence is victory. 2/The idea of breaking at a stroke is not a dream.
2020-06-09
zh1775825464的博客
06-09 686
应该或者说必须努力下去，这只是为了生存得有意义一点，现在也许可以出错，那就去试试看，至少去做过了一些事情，有一天发现自己真的应该去试试的时候，有可能又有其他原因会让你不再敢去了，或是自身的原因，或是家庭的原因，或是环境的原因，有些年纪是可以让人去碰壁的年纪，如果结果不美好，那你至少也是经历过的，不是吗？ ...
2020-07-09
arb1001的博客
07-09 665
Flink windowOperator源码解析 待完成
Draft 2020-09-23 08:24:48-数据集
03-16
文本分割训练集 train_set.csv
minio-RELEASE.2023-01-31T02-24-19Z版本
02-08
新版本配置 export MINIO_ROOT_USER=admin export MINIO_ROOT_PASSWORD=12345678 原旧版本中的配置是MINIO_ACCESS_KEY和MINIO_SECRET_KEY，请注意别在各博客中直接复制把自己的配置写错了，新下载的minio是用不了旧...
LP156WF1-TLF3 #1 2020-03-14 02-10 2.2 VF-S XYZLUT+MTX.icm
06-05
适用于LGD0259(LG Philips LP156WF1-TLF3)笔记本屏幕的icm颜色文件。使用Spyder2 Express校色仪校准，可用DisplayCAL加载。
Draft 2020-02-15 09:00:24-数据集
03-26
高级色系PPT11.pptx
05-08
高级色系PPT11.pptx
node-v7.9.0-linux-x86.tar.xz
最新发布
05-08
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于tensorflow的的cnn卷积神经网络的图像识别分类
05-08
【作品名称】：基于tensorflow的的cnn卷积神经网络的图像识别分类 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
### 数据分析概念、使用技巧、优缺点的文章
05-08
数据分析是指通过收集、清洗、处理和解释数据，以发现其中的模式、趋势和关联，从而提供决策支持或洞察见解的过程。它在各行各业中都扮演着至关重要的角色，从市场营销到科学研究，从金融领域到医疗保健，都有广泛的应用。
对微信帐单进行数据分析
05-08
#pip install pandas -i https://mirrors.aliyun.com/pypi/simple #安装pandas处理数据模块 #pip install xlwt -i https://mirrors.aliyun.com/pypi/simple #安装excel模块 #pip install openpyxl #从微信导出对帐帐单 import pandas as pd #引入pandas，重命名为pd,Python3.9.10版本的Pandas无法兼容低版本的xls import numpy as np #导入均值模块 #从第17行读取csv格式的帐单 df = pd.read_csv('微信支付账单(20230101-20230401).csv',header=16) #分析数据 ...... #将分析数据另存为out.xlsx ..... #进行交易进间分析 ...... #统计交易对方 ...... #将结果保存到excel ..... writer.close()
结果是这样的，没有根据id排：start_date end_date 0 2020-01-15 2020-04-27 1 2020-09-30 2020-10-10 2 2021-02-07 2021-02-22 3 2021-03-06 2021-03-24 4 2020-01-21 2020-03-03 .. ... ... 639 2021-03-09 2021-03-18 640 2021-03-24 2021-04-01 641 2020-01-12 2020-04-19 642 2021-02-09 2021-02-18 643 2020-01-18 2020-03-09
06-03
如果你想根据企业id对结果进行排序，可以在输出结果之前加上一行代码： ```python result = result.sort_values(by=['id']) ``` 此代码将会根据id对结果进行排序，使得每个企业的结果排在一起。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值