自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(31)
  • 收藏
  • 关注

转载 Kubernetes高可用动态存储NFS集群

Kubernetes高可用动态存储NFS集群

2022-06-21 09:51:54 801 3

转载 MySQL安装之yum安装

 在CentOS7中默认安装有MariaDB,这个是MySQL的分支,但为了需要,还是要在系统中安装MySQL,而且安装完成之后可以直接覆盖掉MariaDB。1. 下载并安装MySQL官方的 Yum Repository?1[root@BrianZhu /]# wget -i -c http://dev.mysql.com/get/mysql57-community-re...

2019-01-17 17:20:05 195

转载 Idea使用Maven编译scala和打包jar

下面Maven的pom文件 <properties> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target&amp

2018-11-17 22:49:47 2849

转载 hive中解决中文乱码

一.个人初始开发环境的基本情况以及Hive元数据库说明①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置)②hive-site.xml中设置元数据库对应的配置为  jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true③普通情况下咱们的mysql默认编码是latin1,但是我们在...

2018-10-15 11:18:08 2410 2

转载 大数据面试题及答案

Hadoop 相关试题Hive 相关试题1、 hive表关联查询,如何解决数据倾斜的问题? 倾斜原因: map输出数据按key Hash的分配到reduce中,由于key分布不均匀、业务数据本身的特点、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 1)、key分布不均匀...

2018-09-18 22:54:09 6470

原创 大数据平台常用组件端口号

常见端口汇总:Hadoop:        50070:HDFS WEB UI端口    8020 : 高可用的HDFS RPC端口    9000 : 非高可用的HDFS RPC端口 ...

2018-09-18 10:49:22 251 1

转载 ELK实时日志分析平台环境部署--完整记录

 在日常运维工作中,对于系统和业务日志的处理尤为重要。今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~================概念介绍================日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错...

2018-09-05 19:51:47 383

原创 JAVA基础

一、CoreJava 部分: 基础及语法部分: 1、面向对象的特征有哪些方面? 【基础】 答:面向对象的特征主要有以下几个方面: 1)抽象:抽象就是忽略一个主题中与当前目标无关的那些方面,以便更充分地注意与当前目标有关的方面。抽象并不打算了解全部问题,而只是选择其中的一部分,暂时不用部分细节。抽象包括两个方面,一是过程抽象,二是数据抽象。 2)继承:继承是一种联结类的层次模型,并且允许和...

2018-09-05 10:12:21 940

转载 pycharm 有些库(函数)没有代码提示的解决办法

问题描述如图,输入变量im. 后没有关于第三方库相应的函数或其他提示,当然,此文档的前提是有相关的函数说明以及已有相关设置等解决方案python是动态强类型语言,IDE无法判断Image.open("Me.jpg")的返回值类...

2018-08-31 17:44:00 8192

转载 做Hive开发要了解的数据仓库知识

1.什么是数据仓库数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。...

2018-08-22 10:24:31 218

转载 漫画:什么是数据仓库?

一个故事在很久很久以前,世界上生活着许多种族,有人类,有矮人,有精灵……他们有着不同的信仰,不同的文化,彼此相安无事。可是,有一个猥琐男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢?猥琐男想出一个馊主意,打造出几枚拥有魔力的戒指,免...

2018-08-22 10:13:38 171

转载 数据仓库是什么

数据库是最常听到的名词之一了,但是当提到数据仓库的时候,就会疑问,数据仓库是数据库吗? 如果不是,数据仓库是什么,用来干什么的呢? 平时遇到这个问题一般还真是不好简单明了的回答,因为也的确不是一两句话说的清的。那么数据仓库到底是什么呢,跟数据库有什么区别呢? 数据仓库是什么呢?...

2018-08-22 09:52:36 427

转载 ETL讲解

ETL讲解(很详细!!!) ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。    &nbsp...

2018-08-22 09:51:11 179

转载 KAFKA目录结构

找到kafka的安装目录find / -name kafka* -type d [root@DockerHostconfig]# cd/wls/kafka_2.11-0.8.2.1/config[root@DockerHostconfig]# lltotal28-rw-...

2018-08-20 17:26:27 3728

转载 Git远程操作详解(clone、remote、fetch、pull、push)

Git是目前最流行的版本管理系统,学会Git几乎成了开发者的必备技能。 ...

2018-08-09 09:26:50 358

转载 HIVE元数据存储到MYSQL后因字符集原因导致的中文乱码解决方法

一.个人初始开发环境的基本情况以及Hive元数据库说明①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置)②hive-site.xml中设置元数据库对应的配置为  jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true③普通情况下咱们的mysql默认编码是latin1,但是我们在...

2018-08-07 15:06:25 314

转载 chkconfig使用说明

chkconfig是管理系统服务(service)的命令行工具。所谓系统服务(service),就是随系统启动而启动,随系统关闭而关闭的程序。chkconfig可以更新(启动或停止)和查询系统服务(service)运行级信息。更简单一点,chkconfig是一个用于维护/etc/rc[0-6].d目录的命令行工具。...

2018-08-06 10:06:15 1298

转载 flume数据传输到kafka

flume 简单介绍 当你看到这篇文章时,应该对flume有一个大概了解但是为照顾刚入门的同学所以还是会说下flume,刚开始使用flume时不需要理解太多里面的东西,只需要理解下面的图就可以使用flume把日志数据传入kafka中,下图中的hdfs只是有代表性的sink而以,我在实际使用中sink是kafka...

2018-08-01 20:44:33 4674

原创 Kafka操作命令

启动Kafka: /export/servers/zookeeper/bin/zkServer.sh start nohup /export/servers/kafka/bin/kafka-server-start.sh /export/servers/kafka/config/server.properties &查看当前服务器中的所有topic bin/kafka-topic...

2018-08-01 20:00:49 262

转载 sqoop命令

sqoop主要的功能是将hdfs中的数据和mysql数据库中的数据互相导入导出查看数据库:sqoop list-databases -connect jdbc:mysql:localhost:3306 -username xxxx -password xxx查看特定数据库中的数据化sqoop list-table ...

2018-07-31 13:27:07 2236

转载 Hive入门及常用指令

Hive最近在公司实习,对hive进行了学习,做了些整理的笔记。基础命令show databases; # 查看某个数据库use 数据库; # 进入某个数据库show tables; # 展示所有表desc 表名; # 显示表结构show partition...

2018-07-30 13:18:08 1964

转载 hbase shell指令

1、这里只是将http://www.yiibai.com/hbase/hbase_update_data.html该网站上的指令进行筛检出来。通用命令 指令 注释 status 提供HBase的状态,例如,服务器的数量 version 提供正在使用HBase版本 tab...

2018-07-28 14:36:45 220 1

转载 如何通过TortoiseGit(小乌龟)把本地项目上传到github上

     1.第一步: 安装git for windows(链接:https://gitforwindows.org/)一路next就好了,        如果遇到什么问题可以参考我另外一篇文章~^ - ^          2.第二步:安装小乌龟(我习惯把TortoiseGit叫成小乌龟,所以接下来所有的T

2018-07-28 09:50:30 10633 1

原创 大数据点点滴滴积少成多---进阶之路

1.   HADOOP 入门 61.1 大数据部分的课程介绍 61.2 学习建议 61.3 就业前景及发展规划 61.4 HADOOP 简介 71.4.1 前言 71.4.2 hadoop 应用场景 71.5 hadoop 集群部署安装 72. HDFS 92.1 hdfs 的shell 操作 102.2 HDFS 的一些概念(概念)和特性 112.3 ...

2018-07-27 21:18:13 2548

原创 hadoop和spark等启动指令

1 hadoop启动指令start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTracksta...

2018-07-27 20:08:16 2584 1

原创 HDFS常用操作命令

- cat  功能:将路径指定文件的内容输出到stdout。  使用方法:      hadoop fs -cat URI [URI …]      示例:      hadoop fs -cat hdfs://host1:port1/file1   hdfs://host2:port2/file2      #由于配置了core-site.xml,所以可以省略在hdfs对应的url...

2018-07-27 19:07:50 2087

原创 linux操作命令

1    显示目录信息    #    ls    ls -a    列出当前目录下的所有文件,包括以.头的隐含文件        #    ls    ls -l或ll    列出当前目录下文件的详细信息        #    ls    ls -a    显示所有文件,包含隐藏。        #    ls    ls -al    显示所有文件的详细信息。2    查看路径   ...

2018-07-27 17:18:59 163

转载 Hbase region in transition多个场景解决

1、问题描述:hbase在使用过程中,后来创建了两个表,跑任务的时候,出现下面图片中的问题:region in transition 2、什么是RIT状态?As regions are managed by the master and region servers to, for example, bala...

2018-07-27 13:09:47 535 1

转载 linux 文件权限

一、先用ll命令看看linux下的每个目录的详情:每个目录或者文件详情最左端都会有10个字母,我们将10个字母划分为如上图的4个小块来看:上图1:即左数第一个字母,表示该文件性质,-表示文件  d表示目录  l表示软链接 等上图的2、3、4都是文件目录权限的表示:2、3、4分...

2018-07-26 20:37:35 163

转载 史上最详细git教程

史上最详细git教程阅读目录Git是什么 SVN与Git的最主要的区别 在windows上如何安装Git 如何操作   创建版本库      把文件添加到版本库中 版本回退...

2018-07-25 13:46:19 230

原创 刚刚入住,多多关照

进入博客开启大数据的世界hadoopspark

2018-07-23 16:02:08 121 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除