自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(106)

原创 .idea pom.xml 中的jar包 install不了本地仓库 解决方案。501 HTTPS Required

idea pom.xml 中的jar包 install不了本地仓库 解决方案报错:501 HTTPS Required.Use https://repo.maven.apache.org/maven2/More information at https://links.sonatype.com/central/501-https-required原因:官方有原来的http更换成了https解决方案:在本地maven 的setting.xml文件中镜像处加入:<mirror>&lt

2020-07-17 20:03:46 342

原创 hadoop退出安全模式失败解决方案

hadoop退出安全模式失败当hdfs 开启安全模式时 我们可以有以下俩种方法关闭安全模式:1.修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。2.进入hadoop的bin目录  bin /hadoop fs dfsadmin -leave还是不行就执行 hdfs dfsadmin -safemode leave虽然 显示 safemode ...

2020-01-21 17:17:38 383

原创 高并发解决法案

高并发解决法案在开发高并发系统时,我们首先要考虑的问题就是 如何保护这个高并发系统。我们可以从三个方面考虑:缓存,降级,和限流。缓存的目的是提高系统的访问速度和增大系统的处理容量。而降级是当服务器出现问题时或者是影响到核心流程时我们需要继续屏蔽掉,待高峰或者问题解决后我们再打开。而有些场景 缓存和降级解决不了,比如稀缺资源(抢购和秒杀),写服务(评论和下单)...

2020-01-21 11:18:59 1377

原创 消息队列activemq

消息队列activemq首先,我们为什么需要消息队列?其实就是问问你消息队列都有哪些使用场景,然后你项目里具体是什么场景,说说你在这个场景里用消息队列是什么?面试官问你这个问题,期望的一个回答是说,你们公司有个什么业务场景,这个业务场景有个什么技术挑战,如果不用MQ可能会很麻烦,但是你现在用了MQ之后带给了你很多的好处!先说一下消息队列的常见使用场景吧,其实场景有很多,但是比较核心的有3个...

2019-12-20 15:22:09 108

原创 什么索引?索引的作用是什么?索引运用实例

什么索引?索引的作用是什么?索引实例索引:索引就是对数据库中的一列或者多列的值排序( 进行标记)的一种结构。索引的作用:可以快速的查询数据库中的特定信息(加速检索数据库中表的数据)。https://www.cnblogs.com/little-orangeaaa/p/9707850.html先提出几个问题?为什么要给表加主键?为什么加索引后会是检索变快?为什么加索引后 会是写入、修改...

2019-12-12 10:59:16 832

原创 多线程

多线程https://www.cnblogs.com/yunfeiqi/p/7850699.html

2019-09-02 22:08:36 160

原创 hbase 错误:ERROR: Can't get master address from ZooKeeper; znode data == null

hbase 错误:ERROR: Can’t get master address from ZooKeeper; znode data == null连接:https://blog.csdn.net/u011563666/article/details/51329087

2019-08-23 21:25:49 189

原创 hadoop管理命令——dfsadmin 之./hadoop dfsadmin -safemode leave

hadoop管理命令——dfsadmin 之./hadoop dfsadmin -safemode leavedfsadmin是一个多任务的工具,我们可以使用它来获取HDFS的状态信息,以及在HDFS上执行的一系列管理操作。调用方式例如:hadoop dfsadmin -reportdfsadmin命令详解-report:查看文件系统的基本信息和统计信息。-safeadmin ent...

2019-08-23 17:28:13 661

原创 hadoop hbase中的root表和meta 简述

hadoop hbase中的root表和meta 简述总结  ROOT表可以看作是一张简表,简单的信息,记录不是很多,但ROOT表记录了META的信息。  META表可以看作是一张详表,记录了所有HRegion的信息。ROOT表也记录了HRegion表的信息,但没META表记录详细。拓展:HBase表的HDFS目录结构如下/hbase/data/ ...

2019-08-23 17:02:22 297

原创 电脑连接wifi总是断 手机正常 解决方案

电脑连接wifi总是断 手机正常 解决方案右击 我的电脑 --属性—设备管理器–网络适配器–双击无线网络适配器,

2019-08-01 10:02:45 2339

原创 phoenix的批处理操作 命令行操作 GUI操作 及jdbc调试操作

phoenix的批处理操作 命令行操作 GUI操作 及jdbc调试操作1.phoenix 批处理操作phoenix 在执行:./psql.py note1:2181 user_phoenix.sql user_phoenix.csv user_phoenix_query.sql时 报一下 图片错误:原因 :user_phoenix.sql 和 user_phoenix_query...

2019-08-01 09:57:05 157

原创 phoenix.exception.PhoenixParserException: ERROR 601 (42P00): Syntax error. Unexpected char: '�'

phoenix.exception.PhoenixParserException: ERROR 601 (42P00): Syntax error. Unexpected char: ‘�’phoenix 在执行:./psql.py note1:2181 user_phoenix.sql user_phoenix.csv user_phoenix_query.sql时 报一下 图片错误:...

2019-07-29 21:02:00 2077

原创 hive和hbase整合 构建低延迟的数据仓库

hive和hbase整合 构建低延迟的数据仓库1、摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。2、应用场景2.1 将ETL操作的数据存入HBase2.2 HBase作为Hive的数据源2.3 构建低延时的数据仓库3、环境准备3.1 ...

2019-07-28 13:21:52 516

原创 linux显示隐藏文件 及vim编辑 无意间按了 ctrl+s 解决方案

linux显示隐藏文件 及vim编辑 无意间按了 ctrl+s 解决方案1.显示 隐藏文件 :ll -a 即可2.ctrl+s 相当于锁屏 我们可以通过 ctrl+q 即可。

2019-07-27 21:47:34 656

原创 Hbase 的Hmaster 在运行一段时间后 自动关闭 原因及解决方案

Hbase 的Hmaster 在运行一段时间后 自动关闭 原因及解决方案首先启动 hbase集群 步骤;1.一键启动zk :cd /export/onejian ./start-all.sh2.启动hadoop: cd /export/servers/hadoop/sbin ./start-all.sh3.启动 hbase: cd /export/servers/hbase...

2019-07-27 21:45:03 2018 1

原创 Phoenix 的安装使用

Phoenix 的安装使用1. 什么是Phoenix?phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的...

2019-07-15 12:35:44 1091

原创 hadoop总结

hadoop总结Hadoop第一天1.Vmwarey有三种模式:桥接模式 ,nat模式,host-only模式 一般情况下 用nat2./etc是配置文件的目录/var是储存各种变化的文件。3.修改主机名:vi/etc/sysconfig/network 修改原 hostname 为 newname4.修改ip:/etc/sysconfig/network-scripts/ifcfg...

2019-07-10 16:19:49 299

原创 meta的作用

meta的作用meta 标签在html语言中 ,它位于HTML文档头部的HEAD标记和TITL>标记之间。是HEAD区的一个辅助性标签。它提供用户不可见的信息,比如页面主题,浏览器上的cookie.它可以用于鉴别作者,设定页面格式,标注内容提要和关键字;还可以设置页面使其可以根据你定义的时间间隔刷新自己,以及设置RASC内容等级,等等。...

2019-07-06 12:10:01 396

原创 Spark中Standalone的两种提交模式(Standalone-client模式与Standalone-cluster模式)

Spark中Standalone的两种提交模式(Standalone-client模式与Standalone-cluster模式)一.Standalone-client提交任务方式执行流程1.client模式提交任务后,会在客户端启动Driver进程。2.Driver会向Master申请启动Application启动的资源。3.资源申请成功,Driver端将task发送到worker端执...

2019-07-02 09:39:55 342

原创 消息队列的应用场景

消息队列的应用场景什么是消息队列?所谓消息队列,就是一个以队列数据结构为基础的一个实体,这个实体是真实存在的,比如程序中的数组,数据库中的表,或者redis等等,都可以。首先我们说说为什么要使用队列,什么情况下才会使用队列?为什么需要消息队列?当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候,就需要消息队列,作为抽象层,弥合双方的差异。“ 消息 ”是在两台计算机间传送的数...

2019-07-02 09:27:56 152

原创 hbase 中region是什么 及region过程

hbase 中region是什么 及region过程先学习regionServer 其实是hbase的服务,部署在一台物理服务器上,region有一点像关系型数据的分区,数据存放在region中,当然region下面还有很多结构,确切来说数据存放在memstore和hfile中。我们访问hbase的时候,先去hbase 系统表查找定位这条记录属于哪个region,然后定位到这个region属于...

2019-06-30 21:07:00 1291

原创 关系型数据库和非关系型数据库的区别

关系型数据库和非关系型数据库的区别待会总结,先自我学习先学习网址:https://blog.csdn.net/aaronthon/article/details/81714528

2019-06-30 20:59:09 15825 2

原创 数据库底层结构红黑树-二叉树-B树

数据库底层结构红黑树-二叉树-B树待会总结 先看学习资料学习网址:https://blog.csdn.net/h3243212/article/details/52819734

2019-06-30 20:54:59 650

原创 hbase架构及hbase的读写过程

hbase架构及hbase的读写过程待会总结 先看学习网址学习网址:https://blog.csdn.net/whdxjbw/article/details/81107285

2019-06-30 20:50:58 253

原创 mapreduce 和hive 的区别

mapreduce 和hive 的区别待会总结 先看学习网址学习网址:https://blog.csdn.net/hemeinvyiqiluoben/article/details/84766841

2019-06-30 20:45:14 1497

原创 zk是如何实现hadoop集群的HA (高可用)

zk是如何实现hadoop集群的HA (高可用)待会总结 先看学习网址学习网址:https://blog.csdn.net/qq_42711214/article/details/84109404

2019-06-30 20:43:24 382

原创 linux界面 -bash: /etc/bashr: No such file or directory 根目录消失 变成 -bash-4.1#

linux界面 -bash: /etc/bashr: No such file or directory 根目录消失 变成 -bash-4.1#正常:问题:根目录消失解决方案:在出现问题的note3上 cp /etc/skel/.bash* /root/中间 y y y然后 关闭窗口 重新打开即可。原因:用户的环境变量有关, 相关文件被删除导致。...

2019-06-30 20:23:09 1329

原创 ./stop-hbase.sh执行后一直处于 等待状态且 解决后hmaster 还在

./stop-hbase.sh执行后一直处于 等待状态且 解决后hmaster 还在1.问题:./stop-hbase.sh执行后一直处于 等待状态原因 :我们开始启动了为保证集群的可靠性,要启动多个HMasterhbase-daemon.sh start master所以 我们先要关闭:./hbase-daemon.sh stop master再执行 ./stop-hbase.sh...

2019-06-30 13:07:52 920

原创 linux 系统中 vi编辑文件时 如何让光标快速聚焦/定位到 某个字段 及scp-r 分发

linux 系统中 vi编辑文件时 如何让光标快速聚焦/定位到 某个字段vi 文件然手 /+要查找的字段 即可

2019-06-30 11:19:39 868

原创 执行 source /etc/profile 报:-bash: expor: command not found

执行 source /etc/profile 报:-bash: expor: command not found自己原因:少写了一个t 【od 解决 一般问题都在export path这】网上还有个说 是这样解决的:2.问题:Source /etc/profile不生效vim ~/.bashrc然后最后一行添加 source /etc/profile...

2019-06-30 11:03:18 1424

原创 写一个java程序访问url,并根据stream算出响应时间及读取打印页面内容

写一个java程序访问url,并根据stream算出响应时间及读取打印页面内容package cn.test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.Malfo...

2019-06-28 12:29:53 628

原创 使用Canal实现MySQL的数据实时同步 watch "ntpq -p"查询网络中的NTP服务器

使用Canal实现MySQL的数据实时同步canal的工作原理:1.canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议2.mysql master收到dump请求,开始推送binary log给slave(也就是canal)3.canal解析binary log对象(原始为byte流)还有一个知识点:watch "...

2019-06-25 19:46:09 521

原创 linux 命令 (总结的很好)

linux 命令 (总结的很好)今天 突然看见这样一篇文章,感觉总结的很好,推荐给大家:学习网址:https://blog.csdn.net/qq_23329167/article/details/83856430

2019-06-25 09:00:41 73

原创 spark队列 实现分配资源(实时流)

spark队列 实现分配资源(实时流)学习地址:https://www.cnblogs.com/xiaodf/p/6266201.html前言 :为什么要 使用队列 来分配资源?首先你要了解 yarn的三种调度器。我的一篇博客中已经写了。然后,由于是实时流 所以是实时的,不是直接在spark-master 或者spark-shell 分配资源就可以了。所以我们需要用一个队列 来分配资源 ...

2019-06-25 00:54:37 1045

原创 Tcp/ip概念 及TCP和UDP详解

Tcp/ip概念 及TCP和UDP详解1.TCP/ip: TCP首先咱们弄清楚,TCP协议和UCP协议与TCP/IP协议的联系,很多人犯糊涂了,一直都是说TCP/IP协议与UDP协议的区别,我觉得这是没有从本质上弄清楚网络通信!TCP/IP协议是一个协议簇。里面包括很多协议的。UDP只是其中的一个。之所以命名为TCP/IP协议,因为TCP,IP协议是两个很重要的协议,就用他两命名了...

2019-06-20 13:33:29 209 3

原创 ip地址分类和子网掩码

ip地址分类和子网掩码1.ip地址分类A类网络的IP地址范围为1.0.0.1-127.255.255.254;第一个八位 是网络地址 后三个八位是主机地址。B类网络的IP地址范围为:128.1.0.1-191.255.255.254;第二个八位是网络地址,剩下的三个是主机地址。C类网络的IP地址范围为:192.0.1.1-223.255.255.254;第三个八位是网络地址,剩下的三个是...

2019-06-20 11:43:44 1853

原创 ntpd 和ntpdate的区别 以及系统时间 硬件时间 及时间同步 crontab –e

ntpd 和ntpdate的区别 以及系统时间 硬件时间 及时间同步 crontab –e1.首先crontab 命令 介绍1.crontab命令常见于Unix和Linux的操作系统之中,用于设置周期性被执行的指令2.该命令从标准输入设备读取指令,并将其存放于"crontab"文件中,以供之后读取和执行。在Linux系统中,Linux任务调度的工作主要分为以下两类:1、系统执行的工...

2019-06-12 19:30:19 720

原创 hbase bigtable 安装

hbase bigtable1.1 hbase数据库介绍1、简介hbase是基于Google BigTable模型开发的,典型的key/value系统。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它是Apache Hadoop生态系统中的重要一员,主要用于海量结构化和半结构化数据存储。它介于nosql和RDBMS之间,仅能通过主键(row ...

2019-06-10 18:02:16 237

原创 spark(二) rdd具体介绍

spark(二) rdd具体介绍看完这篇 你可以学到一下内容1:掌握RDD的原理2:熟练使用RDD的算子完成计算任务3:掌握RDD的宽窄依赖4:掌握RDD的缓存机制5:掌握划分stage6:掌握spark的任务调度流程rdd是什么呢?RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、...

2019-06-09 18:08:26 934

原创 idea中安装 翻译插件

idea中安装 翻译插件网上说 plugin 搜索translation 安装 但是安装后 不好使【安装后 无法选中翻译】这里安装 ectranslation 【挺好用】安装完成之后重启idea然后更改 原来的 meta+i 快捷键setting -->keymap–>搜索 ectranlation—>看下效果(选中要翻译的单词或语句):按住 al...

2019-06-09 01:49:32 2232

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除