自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

陈小哥cw

做一个努力的码农

  • 博客(109)
  • 收藏
  • 关注

原创 kudu的一些限制

https://kudu.apache.org/docs/known_issues.htmlSchemaPrimary keysThe primary key may not be changed after the table is created. You must drop and recreate a table to select a new primary key.The columns which make up the primary key must be listed fi.

2021-01-27 10:03:20 36

原创 redis基础

文章目录1. Redis 简介1.1 NoSQL概念1.1.1 问题现象1.1.2 NoSQL的概念1.2 Redis概念1.2.1 redis概念1.2.2 redis的应用场景1.3 Redis 的下载与安装1.3.1 Redis 的下载与安装1.4 Redis服务器启动1.4.1 Redis服务器启动1.4.2 Redis客户端启动1.4.3 Redis基础环境设置约定1.5 配置文件启动与常用配置1.5.1 服务器端设定1.5.2 客户端配置1.5.3 日志配置1.6 Redis基本操作1.6.

2021-01-20 15:00:02 82

原创 【SpringMVC问题】springmvc jsp页面跳转到controller丢失项目名导致404

问题在写前台测试文件上传时,jsp跳转controller时出现404错误,查看跳转的链接里丢失了项目名具体代码如下jsp代码<%@page pageEncoding="UTF-8" language="java" contentType="text/html;UTF-8" %><form action="/fileupload" method="post" enctype="multipart/form-data"> <%--文件上传表单的name属性

2021-01-15 17:12:22 39 1

原创 【SpringMVC问题】Invalid character found in the request target. The valid characters are defined in RFC

文章目录问题解决办法方法一:使用Tomcat7.0.69之前的版本;方法二:对url的特殊字符进行转义方法三:修改tomcat配置文件问题访问链接http://localhost:8080/spring03/requestParam7?addresses[0].city=beijing时,页面显示Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3986

2021-01-14 14:26:10 19

原创 【SpringMVC问题】springmvc添加mvc:default-servlet-handler后,静态资源可以访问,controller不能访问

问题springmvc添加<mvc:default-servlet-handler/>或者<mvc:resources mapping="/img/**" location="/img/"/>后,静态资源可以访问,Controller不能访问,删掉<mvc:default-servlet-handler/>后才能访问controller具体配置文件 <context:component-scan base-package="com.cw">

2021-01-13 16:46:09 94 2

原创 【hdfs问题】hdfs 跨集群数据迁移报错

问题目前想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上,使用以下命令报错sudo kinit hivesudo klistsudo hadoop distcp hdfs://<secure_namenode>:8020/user/hive/warehouse/test.db/* hdfs://<insecure_namenode>:8020/user/hive/warehouse/test.db报错截图解决方案官方链接:https

2020-12-30 09:18:36 68

原创 java随机生成手机号

package com.cw.bigdata.generatedata;import java.util.Random;/** * @author 陈小哥cw * @date 2020/12/22 9:10 */public class RandomPhoneNumber { //中国移动 public static final String[] CHINA_MOBILE = { "134", "135", "136", "137", "138", "

2020-12-22 09:15:29 159

原创 java随机生成身份证号

package com.cw.bigdata.generatedata;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import java.util.Random;/** * @author 陈小哥cw * @date 2020/12/22 8:55 */public class CreateIDCardNo { // 18位身份证号码各位的含义: /

2020-12-22 08:59:57 806

原创 NameNode和Second Name Node的工作流程

1. Namenode的工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数

2020-12-08 10:32:43 24

原创 fsimage,edits ,SNN介绍

fsimage:命名空间镜像文件,不及时更新,存储多个NameNode信息。(一个文件一个NameNode)把文件和目录的元数据信息持久化地存储到fsimage文件中,每次启动时从中将元数据加载到内存中构建目录结构树,之后的操作记录在edits log中edits log:编辑日志,实时更新,程序运行过程中对DataNode的操作记录。fsimage和edits log均存储在磁盘,而不是内存上思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的

2020-12-08 10:29:20 18

原创 Cloudera Management Service角色介绍

Cloudera Management Service角色介绍Cloudera Management Service使用一组角色将各种管理功能实现:Activity Monitor:收集有关MapReduce服务运行的活动的信息。默认情况下不添加此角色Host Monitor:收集有关主机的运行状况和度量标准信息Service Monitor:从YARN和Impala服务中收集有关服务和活动信息的健康和度量信息Event Server :汇总相关的Hadoop事件并使它们可用于警报和搜索Ale

2020-12-02 17:59:03 64

原创 hbase hbck修复命令(hbase1.x)

参考:http://hbase.apache.org/book.html#hbckhttps://docs.cloudera.com/documentation/enterprise/5-16-x/topics/admin_hbase_hbck.htmlHBaseFsck(hbck)是一种命令行工具,可检查region一致性和表完整性问题并修复损坏它以两种基本模式工作:只读不一致标识模式和多阶段读写修复模式只读不一致标识:在此模式下(默认情况下),将生成报告,但不尝试维修。读写修复模式:在这.

2020-12-02 16:03:37 124

原创 openldap-删除,修改ldap用户和组后,使用id命令显示没变化

问题删除ldap用户后,使用id命令查看,发现仍然是之前的结果[root@hadoop48 ~]# id ldapuser2uid=1002(ldapuser2) gid=1002 groups=1002[root@hadoop48 ~]# more /etc/passwd | grep ldapuser[root@hadoop48 ~]# ldapsearch -D "cn=Manager,dc=macro,dc=com" -W | grep dnEnter LDAP Password: d

2020-11-23 18:24:44 166

原创 Cloudera Manager,Cloudera Navigator和Cloudera Management Service角色使用的端口

一,端口介绍下图概述了Cloudera Manager,Cloudera Navigator和Cloudera Management Service角色使用的某些端口:有关更多详细信息,请参见下表。列出的所有端口均为TCP。在下表中,“内部”表示该端口仅用于组件之间的通信。外部意味着该端口可用于内部或外部通信。二,外部端口ComponentServicePortConfigurationDescriptionCloudera Manager ServerHTTP (

2020-11-19 15:37:50 86

原创 impala相关的端口

下表中列出了 Impala 使用的 TCP 端口。部署Impala之前,请确保在每个系统上打开这些端口。您可以使用相应的启动标签来覆盖默认端口。参考http://impala.apache.org/docs/build/html/topics/impala_ports.html#ports组件服务启动标签端口访问需求备注Impala DaemonImpala 守护进程前端端口–beeswax_port21000外部被 impala-shell, Beeswax,

2020-11-19 15:21:41 34

原创 HAProxy页面参数解释

QueueCur: current queued requests //当前的队列请求数量Max:max queued requests //最大的队列请求数量Limit: //队列限制数量Session rate(每秒的连接回话)列表scur: current sessions //每秒的当前会话的限制数量smax: max sessions //每秒的新的最大的会话数量slim: sessions limit ...

2020-11-19 14:53:26 22

原创 hdfs问题-删除,遍历某个目录时显示GC overhead limit exceeded

之前碰到一个问题,使用hdfs ls或者find命令时,会报GC问题,如下图Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded经过调查,我发现该文件夹中有超过3,200,000个文件,而hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件,这导致GC OOM错误。于是我将hdfs客户端的heap大小调大,再次运行则成功HADOOP_CLIENT_OPTS="-Xmx1024

2020-09-21 14:25:05 100

原创 spark实现wordcount的几种方式总结

方法一:map + reduceByKeypackage com.cw.bigdata.spark.wordcountimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * WordCount实现第一种方式:map + reduceByKey * * @author 陈小哥cw * @date 2020/7/9 9:59 */object WordCount1

2020-07-09 14:33:25 227

原创 kafka核心概念和角色

文章目录1.概述2.Producer3.Consumer4.Consumer Group5.Broker6.Topic7.Partition8.Offset9.持久化10.Replica副本机制11.zookeeper1.概述kafka里面的消息是有topic来组织的,简单的我们可以想象为一个队列一个topic就是一个消息队列,然后它把每个topic又分为很多个partition这个是为了做并行的,更加方便扩展,而且提高了吞吐量在每个partition内部消息强有序,相当于有序的队列,其中每

2020-06-21 11:28:36 149

原创 Kafka数据可靠性保证-ack,ISR,HW

文章目录1.副本数据同步策略2.ISR,AR3.ack应答机制4. HW,LEO,LSO,LW名词解释5.故障处理细节1.follower故障2.leader故障6.ISR 集合和 HW、LEO的关系为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确认收到),如果producer收到ack,就会进行下一轮的发送,否则重新发送数据。1.副本数据同步策略

2020-06-21 11:25:30 349

原创 Kafka工作流程及文件存储机制

文章目录一,Kafka工作流程二,文件存储机制2.1 存储机制2.2 index和log文件详解2.3 message的结构2.4 如何通过offset查找Message?三,数据目录结构一,Kafka工作流程Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到

2020-06-21 11:21:42 152

原创 Kafka相关面试题详解

文章目录面试题列表1.突发宕机,Kafka写入的数据如何保证不丢失?Kafka 分布式存储架构Kafka 高可用架构Kafka 写入数据丢失问题Kafka 的 ISR 机制是什么?Kafka 写入的数据如何保证不丢失?总结2.Kafka如何实现每秒上百万的超高并发写入?页缓存技术 + 磁盘顺序写零拷贝技术总结3.Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)等分别代表什么?4. Kafka中的HW、LEO、LSO、LW等分别代表什么?5. Kaf

2020-06-21 11:02:32 257

原创 Kafka三种可视化监控管理工具monitor,manager,eagle

1.Kafka Monitor下载链接: https://github.com/Morningstar/kafka-offset-monitor/releases/tag/0.4.6上传jar包KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar到集群在/opt/module/下创建kafka-offset-console文件夹将上传的jar包放入刚创建的目录下在/opt/module/kafka-offset-console目录下创建启

2020-06-21 10:48:44 2167

原创 kafka消费者API之自定义存储offset 到mysql中

pom文件<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency>

2020-06-21 10:40:52 402

原创 Kafka消费者组三种分区分配策略roundrobin,range,StickyAssignor

一个consumer group中有多个consumer,一个 topic有多个partition,所以必然会涉及到partition的分配问题,即确定那个partition由哪个consumer来消费。Kafka有两种分配策略,一是roundrobin,一是range。最新还有一个StickyAssignor策略将分区的所有权从一个消费者移到另一个消费者称为重新平衡(rebalance)。当以下事件发生时,Kafka 将会进行一次分区分配:同一个 Consumer Group 内新增消费者

2020-06-21 10:38:20 604

原创 Kafka入门之命令行操作

1.创建topic[root@node01 kafka]$ bin/kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --replication-factor 3 --partitions 3 --topic test# CDH版本kafka-topics --zookeeper cm1:2181,cm2:2181,cm3:2181 --create --replication-factor 3 --p

2020-06-21 10:33:52 108

原创 HDFS的快照snapshot的使用

一,snapshot命令允许这个文件路径可以创建snapshots:hdfs dfsadmin -allowSnapshot <路径>不允许创建目录的快照。必须先删除目录的所有快照,然后再禁止快照。hdfs dfsadmin -disallowSnapshot <路径>创建快照hdfs dfs -createSnapshot <路径> [<快照名称>][root@cm1 ~]# hdfs dfs -createSnapshot /data/m

2020-05-15 15:24:57 98

原创 hdfs 创建一个新用户

需要先在linux 上创建一个普通用户: hadoop-cw,并修改密码[root@cm1 ~]# useradd hadoop-cw[root@cm1 ~]# passwd hadoop-cwChanging password for user hadoop-cw.New password:BAD PASSWORD: The password is shorter than 8 charactersRetype new password:passwd: all authentication

2020-05-15 14:48:41 374

原创 linux下实现mysql数据库定时备份

https://www.cnblogs.com/taomylife/p/8022104.htmlhttps://www.cnblogs.com/huxiaoguang/p/10847401.htmlhttps://blog.csdn.net/sinat_33201781/article/details/94443092创建备份目录mkdir -p /data/dbback/mysql创建备份shell脚本vim /data/dbback/bkDatabaseName.sh输入或.

2020-05-13 15:04:22 87

原创 PostgreSQL的安装和卸载,远程连接
原力计划

一,PostgreSQL的卸载查看版本号和系统类别:cat /etc/redhat-release如果是redhat/centos:(yum install)yum 删除软件包:yum remove postgresql*删除相关目录文件:rm -rf /var/lib/pgsqlrm -rf /usr/pgsql*删除pg相关用户组/用户user...

2020-04-10 20:58:00 238

原创 PostgreSQL语法

PostgreSQL 语法更多内容可以参考手册中的 SQL 语法:http://www.runoob.com/manual/PostgreSQL/sql-syntax.html。https://www.cnblogs.com/XiaoGuanYu/p/9892321.html进入命令行工具默认情况下 PostgreSQL 安装完成后,自带了一个命令行工具 SQL Shell(psql)...

2020-04-10 17:41:45 186

原创 【NiFi系列】1-基本介绍

1.1 背景介绍2006年NiFi由美国国家安全局(NSA)的Joe Witt创建。2015年7月20日,Apache 基金会宣布Apache NiFi顺利孵化成为Apache的顶级项目之一。NiFi初始的项目名称是Niagarafiles,当NiFi项目开源之后,一些早先在NSA的开发者们创立了初创公司Onyara,Onyara随之继续NiFi项目的开发并提供相关的支持。Hortonworks...

2020-03-01 22:11:21 165

原创 大数据相关资源网址

Spark安装地址1.官网地址http://spark.apache.org/2.文档查看地址https://spark.apache.org/docs/2.1.1/3.下载地址https://spark.apache.org/downloads.html

2020-02-16 13:35:02 88

原创 MySQL主从复制配置

将MySQL的安装包上传至mysql的主节点/root/目录下,使用命令解压tar -xvf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar使用命令将解压出来的MySQL RPM包传至从节点执行以下命令之前,需要先移除mariadb(分别在mysql主,从节点执行)yum -y remove mariadb*使用以下命令按顺序安装my...

2020-01-14 16:58:49 51

原创 MySQL设置免密登录

在搭建MySQL高可用的时候,出现如下问题:在用MySQL日志中提供的初始登录密码登录失败,现有免密登录,方法如下:1、在/etc/my.cnf中修改在[mysqld]最后添加:skip-grant-tables2、重启MySQL3、直接mysql进入4、use mysql;5、修改账号密码:update user set authentication_string=password...

2020-01-14 15:55:54 1057

原创 卸载虚拟网卡命令

卸载虚拟网卡命令:yum install -y libguestfs-toolsyum install -y virt-installvirsh net-listvirsh net-destroy defaultvirsh net-undefine default

2020-01-14 15:54:41 455

原创 CDH各个版本组件版本及常见cdh链接

5.x的CDH各个组件版本信息https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_cdh_vd.html6.x的CDH各个组件版本信息https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62...

2020-01-07 09:53:42 3120

原创 sqoop安装和命令介绍

一,sqoop介绍1.1 sqoop简介Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop...

2019-12-23 11:30:31 83

原创 Java遍历Map的4种方式

public static void main(String[] args) { // 循环遍历Map的4中方法 Map<Integer, Integer> map = new HashMap<Integer, Integer>(); map.put(1, 2); // 1. entrySet遍历,在键和值都需...

2019-12-12 21:10:29 39

原创 Java中的类加载器和双亲委派机制

一,类加载器介绍类加载器有三个:启动类加载器、扩展类加载器、应用程序加载器(系统加载器)启动类加载器 : null(不是由java实现的)启动类加载器加载java的核心类库,它负责将jdk目录/jre/lib 下面的类库加载到内存中。由于引导类加载器涉及到虚拟机本地实现细节,开发者无法直接获取到启动类加载器的引用.所以不允许直接通过引用进行操作。扩展类加载器:sun.misc....

2019-12-12 16:54:01 32

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除