bigdata
文章平均质量分 78
车斗
这个作者很懒,什么都没留下…
展开
-
hadoop 文件和本地文件校验和比较
不放心文件是否完整地传输到 hdfs 上,需要校验本地文件和 hdfs 上是否完全一致。同。本文提供了方法从而证明二个文件完全一致。原创 2022-11-23 17:50:35 · 1559 阅读 · 1 评论 -
第1章 图的概念和原理
第1章 图的概念和原理1.1 图结构定义在计算机科学中,一个图就是一些顶点的集合,这些顶点通过一系列边结对(连接)。顶点用圆圈表示,边就是这些圆圈之间的连线。顶点之间通过边连接。顶点有时也称为节点或者结点,边有时也称为结边或链接。图1:关于国家的图结构图(graph)的节点(node)通常代表一个物理实体属性,结边记录了实体之间的连接关系。图通常用一系列三元组(triple)表示,基本形式主要包括:“实体1-关系-实体2”和“实体-属性-属性值”。每个实体(Entity)或概念.原创 2021-05-11 14:53:10 · 875 阅读 · 0 评论 -
HBase 高可用集群整合 Phoenix 配置
HBase 高可用集群整合 Phoenix 配置接上文:HBase 高可用集群配置整合 phoenix 虽然简单,但是有坑。按照官网(http://phoenix.apache.org/installation.html )进行操作在新版本上基本不会成功!首先确保你的 hbase ha 搭建完全正常(查看各节点日志 “$HBASE_HOME/logs/*.log” 文件里没有任何 ERROR)。好了,接下来做整合。我采用 apache hbase-2.4.2 + phoenix-hbase-原创 2021-05-08 14:54:44 · 1767 阅读 · 5 评论 -
HBase 高可用集群配置
HBase 高可用集群配置基于最新的 hbase-2.4.2 版本。3台机器组成 HBase HA 集群,运行的进程如下: flink01 HMaster flink02 HMaster, HRegionServer flink03 HRegionServer环境变量(/etc/profile.d/hacl-hbase-env.sh):export HBASE_HOME=/opt/hacl/hbas...原创 2021-05-08 13:03:28 · 664 阅读 · 0 评论 -
我的大数据开发第5章:ansible 离线安装
我的大数据开发第5章:ansible 离线安装介绍ansible是基于 python (2.7, 3.x)的一套完整的自动化执行任务模块,是一款简单的运维自动化工具,只需要使用ssh协议连接就可以来进行系统管理,自动化执行命令,部署等任务。ansible不需要单独安装客户端,也不需要启动任何服务。ansible playbook 采用yaml配置,对于自动化任务执行过一目了然。ansible组成结构:ansible: 是ansible的命令工具,核心执行工具;一次性或临时执行的操作都是通过该命令执原创 2021-02-02 15:44:05 · 441 阅读 · 0 评论 -
我的大数据开发第4章:hbase单节点伪集群安装
我的大数据开发第4章:hbase单节点伪集群安装前提是确保hadoop和zookeeper如第1章,第3章安装正确:我的大数据开发第1章:hadoop 单节点伪集群安装我的大数据开发第3章:kafka单节点伪集群安装环境变量设置如第1章并生效:我的大数据开发第1章:hadoop 单节点伪集群安装1. hbase 配置$HBASE_CONF_DIR/hbase-site.xml 全部内容如下:<configuration> <property>原创 2021-01-11 12:49:09 · 282 阅读 · 0 评论 -
我的大数据开发第3章:kafka单节点伪集群安装
我的大数据开发第3章:kafka单节点伪集群安装kafka 都依赖 zookeeper。1. zookeeper 单机伪分布式部署确保环境变量正确设置:# zookeeperexport ZK_HOME=$APACHE_ROOT/zookeeper-currentexport ZK_CONF_DIR=$ZK_HOME/confexport PATH=$PATH:$ZK_HOME/bin# kafka and managerexport KAFKA_HOME=$APACHE_R.原创 2021-01-11 12:37:47 · 294 阅读 · 0 评论 -
我的大数据开发第2章:初步了解Flink
目录我的大数据开发第2章:初步了解Flink0. 引言1. 搭建Flink开发环境2. 启动Flink3. Flink批处理任务4. Flink流处理任务5. 关闭Flink集群6.Flink on YARNYARN简介在YARN上部署FlinkFlink on YARN 提交任务第一种任务提交测试第二种任务提交测试(推荐)5. 总结我的大数据开发第2章:初步了解Flink关于如何快速搭建一个 Flink 学习和测试环境,请参考第1章。0. 引言传统的大数据架构靠堆叠各种组件来实现数据处理流程上的各原创 2021-01-05 17:59:02 · 481 阅读 · 0 评论 -
我的大数据开发第1章:hadoop 单节点伪集群安装
hadoop 单节点伪集群安装在一个节点机器上部署一个hadoop集群,可用于开发环境,简单易行。os为centos7虚拟机(hostname=hacl-node1)。0 主机配置vi /etc/hostnamehacl-node1vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hacl-node1必须能免密码 ssh 登录本机:ssh localhost如果提示输入密码,则需要:ssh-keygen -原创 2021-01-04 18:46:28 · 466 阅读 · 0 评论 -
为开发安装 hbase 单机版
安装 hbase 单机版为了开发和测试的目的,安装 hbase 单机版。很简单,不需要 hdfs,只要下载 hbase 的 bin 包,改2个配置文件就可以。当然前提是 java 已经安装。1 下载 hbasehttp://mirror.bit.edu.cn/apache/hbase/2.1.3/hbase-2.1.3-bin.tar.gz程序解压到: /data/hbase-root/...原创 2019-03-01 16:53:46 · 480 阅读 · 0 评论 -
phoenix 使用说明
phoenix 使用说明2018-06-14~2018-06-19Apache Phoenix是构建在HBase之上的关系型数据库层,作为内嵌的客户端JDBC驱动用以对HBase中的数据进行低延迟访问。Apache Phoenix会将用户编写的sql查询编译为一系列的scan操作,最终产生通用的JDBC结果集返回给客户端。数据表的元数据存储在HBase的表中被会标记版本号,所以进行查询的时...原创 2018-06-27 17:49:42 · 4463 阅读 · 0 评论 -
菜鸟玩云计算之十二:KVM虚拟机更改大小
菜鸟玩云计算之十二:KVM虚拟机更改大小参考:http://www.missionfamilybank.org/expanding-resizing-your-qcow2-virtual-machine-image-with-lvm-and-ext4/早晚我们会遇到虚拟机的大小不够用的情况。此时可以用virt-resize命令重新分配虚拟机大小。假设我们的虚拟机vm-gitlab6需要扩充到40G原创 2013-10-07 15:27:51 · 6254 阅读 · 3 评论 -
菜鸟玩云计算之十三:虚拟机迁移故障排除若干
菜鸟玩云计算之十三:虚拟机迁移故障排除若干今天把系统重装为Ubuntu 12.04.3LTS,然后把虚拟机迁移回来。出现若干错误。现把解决方法记录如下:1)运行下面语句定义虚拟机:$ sudo virsh define /etc/libvirt/qemu/vm1.xml出现错误:error: Failed to create domain from ubuntu.xmlerror: unknown原创 2013-10-19 16:50:12 · 7346 阅读 · 7 评论 -
菜鸟玩云计算之十四:克隆虚拟机及ssh登录的问题
菜鸟玩云计算之十四:克隆虚拟机及ssh登录的问题今天早上,我的Ubuntu12.04.3LTS Desktop提示升级,升级。从vm-ubuntu12.04克隆出虚拟机vm-thrift:$ sudo mkdir -p /var/lib/libvirt/images/vm-thrift/ubuntu-kvm$ sudo virt-clone -o vm-ubuntu12.04 -n vm-th原创 2013-11-05 10:57:12 · 3142 阅读 · 0 评论 -
菜鸟玩云计算之九:KVM虚拟机网络配置
菜鸟玩云计算之九:KVM虚拟机网络配置cheungmine前提:HOST是UbuntuServer12.10 amd64,虚拟机也是同样的OS。这样构造出来的KVM虚拟机有2种网络连接模式,一种称为bridge,一种称为nat。这2种模式的网络配置有点差别。使用我上一篇文章(菜鸟玩云计算之八:Ubuntu Server12.10 之KVM虚拟机:http://blog.csdn.net/cheun原创 2012-11-23 14:47:10 · 3686 阅读 · 0 评论