健康平安的活着的专栏

原创 git 常用命令操作

未完待续，文档见：

原创 解决hbase的 count计数的问题

当进行hbase数据统计的时候，报错：org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No registered coprocessor service found for name Aggregat...

原创 hbase的java api实现crud操作

1.1 解决无法找到winutils.exe的错误解决windows中运行报错，无法找到winutils.exe的错误。#1.将hadoop的tar包解压到f盘：#2找到和使用hadoop最接近的版本hadoop-common-xxx-bin的软件包#3.解压后将bin文件夹下的所有文件复制到第一步hadoop版本的bin目录下：建议重复的文件选择不覆盖#在...

原创 java 连接mysql的dbutils的代码

一.pom文件的配置： <!-- mysql driver --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.2...

原创 hive的java api 操作

首先需要实现hive能够远程访问：配置见https://blog.csdn.net/u011066470/article/details/91998651Java代码：package com.meboth.hive.connection.hbase.utils;import java.sql.*;/** * @className JDBCToHiveUtils * @De...

原创 hadoop的之 hdfs

HDFS概述1.1 各节点的作用Hdfs:采用主/从结构对文件系统进行管理，namenode分布在主节点上，datanode分布在从节点上；Namenode:相当于一个leader，负责资源调度，当用户上传一个640m的文件，按64m为单元进行分块，然后分布在集群的数据节点上。当用户查询时候namenode从数据节点从取出。存储的元信息：文件的名字，大小，修改时间等。Datano...

原创 Java 连接mysql的jdbcutil代码

老规矩，话不都说，上代码：package com.meboth.hive.connection.hbase.utils;import java.sql.*;import java.util.*;import java.io.*;public class JdbcUtil { public static final String DBDRIVER = "com.mysql....

原创 hive与hbase的整合

Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。1.1hive整合hbase的搭建配置说明:Hive是单节点，hbase为集群修改hive-site.xml文件，添加zookeeper配置<!--hive整合hbase -->&lt...

原创 linux中 nohup与&的区别

#正常执行shell脚本使用ctr+c 或者关闭ssh连接的窗口，进程结束#单独使用&使进程在后台运行，默认输出到标准输出（即当前屏幕），可以重定向输出。ctr+c 对其没有影响，即忽略sigint信号。但是=======关闭ssh连接，或者会话，则进程结束=======#单独使用nohup进程在前台运行，默认输出到nohup.out关闭会话不影响进程，忽略sighup信号。但...

转载 user profile

https://blog.csdn.net/zimiao552147572/article/details/88425634

原创 hive 可视化组件Dbeaver的安装

一.修改hadoop配置文件修改core-site.xml文件内容：（如果集群的话每个都要修改）<!-- 远程访问 --><property> <name>hadoop.proxyuser.www.hosts</name><value>*</value><...

原创 虚拟机中的centos7.5安装mysql5.7.26

未完待续，近期期待。。。。。

原创 hadoop 2.x 各个配置文件的作用

原创 Hadoop2.x 各个组件的介绍

​​​​​​​一.Hadoop2.x的概述分布式就是由多台机器协同来完成的任务。Hadoop提供的服务主要是两个:分布式存储，以及分布式计算。Hadoop的分布式系统，都采用Master-Slave的主从模式，在这样的模式下，分布式存储系统（HDFS）的主节点，是NameNode。分布式资源管理系统（Yarn）的主节点，是ResourceManager。可以很粗的理解为：HDFS...

原创 linux 设置系统的时间

#查看时区[root@meboth-slaver01 bin]# date -RSat, 01 Jun 2019 10:29:16 +0800#只设置时间[root@meboth-slaver01 bin]# date -s 10:28:00Sat Jun 1 10:28:00 CST 2019[root@meboth-slaver01 bin]# date -RSa...