自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(203)
  • 资源 (20)
  • 收藏
  • 关注

转载 hbase目录结构及元数据修复

最近知识星球有人问浪尖,自己的hbase集群元数据丢失了,但是数据还在,是否能够修复,其实这种情况下利用数据的hfile去修复元数据很常见,也有很多时候我们是生成hfile加载进hbase。那么他又问了,假设数据也丢失了,或者数据存在大量坏块,是否能进行修复。首先要先修复坏块,一本有副本,假设不是所有数据副本一起损坏,通过清除坏块,修复副本,然后再逆向修复hbase的元数据也是可行的。但是如果清除坏块之后数据丢了,那也可以修复hbase元数据,只是丢了数据而已。HBase中的元数据表中记录了Regi

2021-04-16 10:47:19 177

原创 CDH问题处理

现象:CDH所有服务报异常,HDFS提示存储空间为0;在CDH管理界面中能够看到集群中所有的主机,但是主机的信息看不到。处理过程:1)试图重启agent,但是所有的DataNode都提示agent正在运行2)jps查看进程发现根本没有java进程在运行3)运行cloudera-scm-agent status显示进程已死,但PID文件仍存4)通过在cloudera-scm-agent脚本中输出PID文件名字,定位到PID文件5)可以发现PID文件是个空文件,将PID文件删除6)启

2020-08-15 23:09:17 722

原创 Linux定时收集CPU使用率并将打印到文件

#!/bin/bashwhile [ true ]; do/bin/sleep 3ps auxw|awk '{if (NR>1){print $3}}' > /opt/cpu_listawk '{CPU_PER+=$1}END{print CPU_PER}' /opt/cpu_list | awk '{ print $0"\t" strftime("%H:%M:%S",systime()) } ' >> cpu.txtdone

2021-11-22 18:45:25 504

原创 VS调试时显示qstring

VS调试Qt程序,会发现无法查看QString等Qt内置类型的值,可以修改autoexp.dat文件,使Qt内置类型的值也可以查看。C:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\Packages\Debugger\autoexp.dat,在VS2005,qt3下亲测可以。搜索 [AutoExpand],添加;QT_DEBUG_START (Qt5 Visual Studio Add-in v2.4.3)QString=

2021-09-27 22:50:09 66

原创 swing中JTable的渲染器和编辑器

JTable的内容、外观、事件响应在很大程度上是由渲染器与编辑器控制的。具体说来,渲染器负责单元格的外观比如前景色、背景色,以及单元格提示;编辑器负责单元格的内容和事件响应。编辑器默认为文本框形式,也可以使用下拉菜单、按钮、单选按钮等形式。定制的渲染器必须实现TableCellRenderer接口并实现getTableCellRendererComponent方法。在该方法中,可以指定渲染器的文字、单元格提示、颜色、字体等。注意,此处的文字仅为显示的内容,不是单元格的实际数据。比如://v

2021-08-12 22:22:52 32

转载 Eclipse windowbuilder自定义控件加到控件面板

eclipse的Gui插件windowbuilder工具支持自定义控件加到控件面板,并且支持基本类型的自定义属性出现在属性面板里(切记只支持属性的数据类型是基本类型,不支持其他一切类类型)。这些属性设置后可以实时反应到设计视图上非常有用(例如:JPanel不支持设置背景图片,我们可以自定义一个继承的子类在paintComponent(与paint区别,调用paint,paint会调用依次paintComponent、paintBorder 和 paintChildren,在paint画图自己写的代码在pai

2021-07-22 10:02:56 51

原创 2021-06-21 windows下脚本方式实现进程狗

@echo off:RESTARTrem 进程名字set procName=xxxrem 进程的启动参数set param=-dtasklist /FI "imagename eq %procName%.exe" |find /C "%procName%.exe" >temp.txtset /p num= < temp.txtdel /F temp.txtif "%num%"=="0" ( echo %date% %time% "%procName%已死掉,正在重新启动...

2021-06-21 18:29:15 39

原创 Linux下查找结构体定义的位置

1.首先我们要进入目录:比如:cd /usr/include2.查找在当前目录下的结构体:指令:grep “struct sockaddr_in {” * -nir形式:grep+空格+“结构体+空格+{”+空格+*+空格±nir注意:空格绝不能少,否则绝对找不到或者卡死在那里// n表示行号,i表示不区分大小写,r是本目录这时候就能够找到结构体定义的位置了。3.打开文件就能够看到结构体的定义了:...

2021-06-08 09:39:53 117

原创 JDB附加调试线上JAVA程序

前面介绍过用Eclipse远程调试JAVA程序,见Eclipse远程调试JAVA程序,但现场环境中通常没有安装Eclipse,这时候就可以用jdb来附加进程调试了。 1)首先要保证使用以下命令启动JAVA程序:java -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8000 -jar test.jar 注意命令中有参数suspend=n,指定JAVA以调试模式运行,监听本地8000端口,并且等待连接时不挂..

2021-05-13 14:05:09 55

原创 phoenix中删除表映射(保留hbase中的数据)

1删除Phoenix上的映射表,demo是我的表名DELETE from SYSTEM.CATALOG where TABLE_NAME ='demo';2删除hbase中phoenix的表描述打开hbase shell,依次执行以下命令:disable 'demo'alter 'demo',METHOD=>'table_att_unset',NAME=>'coprocessor$1'alter 'demo',METHOD=>'table_att_unset',NA

2021-04-20 18:52:12 288

转载 phoenix upsert 插入大量数据时的异常

使用phoenix upsert 插入大量数据时出现异常:java.sql.SQLException: ERROR 730 (LIM02): MutationState size is bigger than maximum allowed number of bytes具体报错:解决方法:主要修改三个参数配置:phoenix.mutate.batchSize:执行过程中被批处理并自动提交的行数,调大此参数phoenix.mutate.maxSize :客户端批处理的最.

2021-04-19 20:10:19 288

转载 Phoenix各个属性的含义

Phoenix各个参数的含义及设置:属性名称 属性描述 默认值 phoenix.query.timeoutMs 查询超时时间,默认为10分钟,单位:毫秒 600000 phoenix.query.keepAliveMs 当客户端的线程超过线程池的核心线程数量时,空闲线程等等待任务的默认时间。超过这个时间,空闲线程就会关闭,默认是60s 60000 phoenix.query.threadPoolSize 客户端线程池的线程数量,当集群扩大时,这个数.

2021-04-19 20:05:56 291

原创 phoenix使用总结

phoenix映射HBase默认情况下,直接在hbase中创建的表,通过phoenix是查看不到的。如果要在phoenix中操作由hbase创建的表,则需要在phoenix中进行表的映射。映射方式有两种:视图映射和表映射。Phoenix创建的视图映射是【只读】的,所以只能用来做查询,无法通过视图对源数据进行修改等操作。视图映射通过create view创建,例如:create view “test”(empid varchar primary key,“name”.“firstname”

2021-04-14 20:07:55 315

转载 Ora-12514原因及处理方法

1)、ORA-12541:TNS:没有监听器服务器端的监听器没有启动,另外检查客户端IP地址或端口填写是否正确。启动监听器:$lsnrctlstart2)、ORA-12154:TNS:无法处理服务名检查输入的服务名与配置的服务名是否一致。另外注意生成的本地服务名文件(Windows下如D:oracleora92networkadmintnsnames.ora,Linux/Unix下/network/admin/tnsnames.ora)里每项服务的首行服务名称...

2021-03-29 20:45:57 3883

原创 java单播、组播、广播示例

UDP单播:import java.io.IOException;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;import java.net.InetSocketAddress;import java.net.SocketAddress; // 客户端public class ClientTest{ private static final

2021-03-18 21:08:40 59 1

转载 RMI学习总结

1.RMI介绍远程方法调用(RMI)顾名思义是一台机器上的程序调用另一台机器上的方法。RMI的目的就是要使运行在不同的计算机中的对象之间的调用表现得像本地调用一样。RMI是Java支撑分布式系统的基石,例如著名的EJB组件。RMI是远程过程调用(RPC)的一种面向对象实现,RMI底层是通过socket通信和对象序列化技术来实现的。2.RMI原理RMI 应用程序通常包括两个独立的程序:服务器程序和客户机程序。RMI 需要将行为的定义与行为的实现分别定义, 并允许将行为定义代码与行为实现代码存放并运

2021-03-18 18:06:52 57

原创 hbase shell常用命令

help 查看命令的使用描述 help ‘命令名’whoami 我是谁 whoamiversion 返回hbase版本信息 versionstatus 返回hbase集群的状态信息 statustable_help 查看如何操作表 ...

2021-02-28 10:38:59 59

转载 hbase问题排查思路

HBCK - HBCK检查什么?(1)HBase Region一致性 集群中所有region都被assign,而且deploy到唯一一台RegionServer上 该region的状态在内存中、hbase:meta表中以及zookeeper这三个地方需要保持一致 (2)HBase 表完整性 对于集群中任意一张表,每个rowkey都仅能存在于一个region区间 HBCK – 常用检查命令 hbase hbck hbase hbck –details .

2021-01-28 18:38:33 246

原创 HBase修复命令

新版本的 hbck 可以修复各种错误,修复选项是: (1)-fix,向下兼容用,被-fixAssignments替代 (2)-fixAssignments,用于修复region assignments错误 (3)-fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。 (4)-fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题 (5)-fixHdfsOrphans,修复O...

2021-01-28 09:03:22 264

转载 system函数返回值探究

http://blog.chinaunix.net/uid-24774106-id-3048281.html?page=3遇到system调用脚本,结果返回了256的情况,那么如何判断脚本是否正常成功调用,即取到脚本的真正返回值system是个综合的操作,分解开来看就是相当于执行了1 fork 生成一个子进程。2 在子进程执行 execl("/bin/sh","sh","-c" command,(char*)0);3 waitpid下面进入正题,返回值:1 如果fork...

2021-01-20 08:50:47 581 1

原创 Java枚举如何优雅的自定义值并实现自增

相对于C++中的枚举来说,java中的枚举是比较弱的,没有C++里那么灵活。比如当需要指定枚举中的值时,一般会通过自己定义带参数的构造函数来实现,这样就会导致后续的所有枚举都需要调用这个带参数的构造函数,满满的一堆重复代码!有没有比较简洁的方式实现类似C++中的枚举呢?答案是有的,具体的实现就是下面的代码(来源于网络):import java.util.EnumSet; public class EnumTest { public static void main(String[] a

2021-01-19 14:53:07 316

原创 线上JAVA程序调试方法

一、core文件分析法1)使用jmap生成core文件jmap -dump:format=b,file=heap.hprof31531注:31531为java进程的进程ID2)使用IBM HeapAnaluzer进行分析二、使用JMC分析JMC是jdk自带的图形界面分析工具,可查看所有线程及线程状态。选中单个线程可查看该线程的线程堆栈,有一个特点就是堆栈可实时刷新,对于查问题很有帮助。比如有个线程出现了死循环,通过观察堆栈就可以发现,线程堆栈每次都停在某个地方,进而可以通过.

2021-01-01 19:09:52 427

原创 Java性能调优工具总结

1、JDK命令行工具 1.1、jps命令 jps用于列出Java的进程,jps可以增加参数,-m用于输出传递给Java进程的参数,-l用于输出主函数的完整路径,-v可以用于显示传递给jvm的参数。 1 2 jps -l -m -v 31427sun.tools.jps.Jps -l -m -v -Dap...

2020-12-21 19:43:45 156

转载 HDFS 副本存放磁盘选择策略详解

在 HDFS 中,DataNode 将数据块存储到本地文件系统目录中,具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中,一般都会配置多个目录,并且把这些目录分别配置到不同的设备上,比如分别配置到不同的HDD(HDD的全称是Hard Disk Drive)和SSD(全称Solid State Drives,就是我们熟悉的固态硬盘)上。当我们往 HDFS 上写入新的数据块,DataNode 将会使用 volume 选择策略来为这

2020-12-17 19:41:10 419

原创 hdfs配置多块硬盘存储

datanode配置多个数据存储地址,涉及到以下两个配置项dfs.name.dirDetermines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for

2020-12-17 19:34:16 379

原创 Hbase禁用自带ZooKeeper,使用已经安装的ZooKeeper

1.修改conf/hbase-env.shexport HBASE_MANAGES_ZK=falseHBASE_MANAGES_ZK=false 时使用独立的,为true时使用默认自带的。2.拷贝zookeeper的配置文件zoo.cfg到HBase的conf目录(官方推荐的方式)cp /opt/zookeeper/conf/zoo.cfg./conf/...

2020-12-17 19:20:48 511

原创 手动安装hadoop+hbase

https://www.cnblogs.com/zingp/p/11223220.html#_label2https://www.cnblogs.com/yeyusheng/p/8820490.htmlhttps://developer.aliyun.com/article/26560

2020-12-17 18:50:13 58

原创 redis源码-源码的学习路线

第一阶段阅读Redis的数据结构部分,基本位于如下文件中:内存分配 zmalloc.c和zmalloc.h 动态字符串 sds.h和sds.c 双端链表 adlist.c和adlist.h 字典 dict.h和dict.c 跳跃表 server.h文件里面关于zskiplist结构和zskiplistNode结构,以及t_zset.c中所有zsl开头的函数,比如 zslCreate、zslInsert、zslDeleteNode等等。 基数统计 hyperloglog.c 中的 hllhdr

2020-12-11 15:33:08 87

原创 Linux查看单个进程内存占用情况及cached占用过大问题

1.top查看单个进程的CPU或内存占用top命令只能查看进程的cpu、内存占用百分比,但是看着每个进程占用的内存并不大2.查看内存占用最多的进程:ps -aux | sort -k4nr | head -n 103.free -h使用free -h可以看到内存的整体占用情况,看到cache占用了很大的内存空间(超过100G)4.清理cached先执行sync命令,同步数据然后执行echo 1 > /proc/sys/vm/drop_caches...

2020-11-23 19:27:28 722

原创 HBase原理之LSM Tree

HBase能提供实时计算服务主要原因是由其架构和底层的数据结构决定的,其采用LSM-Tree(Log-Structured Merge-Tree) + HTable(region分区) + Cache的架构方式保证HBase的查询速度。一、LSM-tree原理LSM-tree起源于1996 年的一篇论文《The Log-Structured Merge-Tree (LSM-Tree)》,现在在 NoSQL 系统里非常常见,基本已经成为必选方案了,本文介绍一下 LSM-tree 的主要思想。LSM

2020-09-20 16:47:45 342

原创 spark之Dataset

@InterfaceStability.Stablepublic class Dataset<T>extends Objectimplements scala.Serializabl1)Dataset是面向特定领域的强类型集合2)每个Dataset具有一个称为DataFrame的无类型视图,该视图是Row的Dataset。3)与RDD类似,DataSet包含Transformation和Action两种操作。4)两种创建Dataset的方式:使用SparkSessio.

2020-09-15 19:13:06 236

转载 关于Qt中QMAKESPEC环境变量

qmake需要一个平台和编译器描述文件,其中包含许多默认值用于生成适当的Makefiles。标准的Qt发行版附带了许多这些文件,位于Qt安装的子目录mkspecs中。该QMAKESPEC环境变量可以包含任何以下内容: 包含qmake.conf文件的目录的完整路径。在这种情况下,qmake将从qmake.conf该目录中打开文件。如果文件不存在,qmake将会退出并显示错误。 平台 - 编译器组合的名称。在这种情况下,qmake将在由mkspecs编译Qt时指定的数据路径的子目录指定的目录

2020-09-03 13:15:16 921

原创 Spark SQL, DataFrames and Datasets Guide

https://spark.apache.org/docs/1.6.3/sql-programming-guide.html#sqlSpark SQL中所有功能的入口点是SQLContext类或其派生类。创建SQLContext的方式如下:JavaSparkContext sc = ...; // An existing JavaSparkContext.SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);..

2020-08-26 21:09:30 212

原创 Spark Programming Guide

本文主要内容来源于spark官网:http://spark.apache.org/docs/1.6.0/programming-guide.htmlOverview每个Spark应用程序都包含一个驱动程序,该程序运行用户的Main函数并在集群上执行各种并行操作。Spark提供的最主要抽象是弹性分布式数据集(RDD)关于RDD这里不再详细写了。Spark中的第二个抽象是可以在并行操作中使用的共享变量,Spark支持两种类型的共享变量:广播变量(将值缓存到所有节点的内存中)和累加器(仅“添加”到其上

2020-08-23 18:18:22 255

原创 关于SparkContext

1.SparkContext是spark功能的入口,代表与spark集群的连接,能够用来在集群上创建RDD、累加器、广播变量2.每个JVM里只能存在一个处于激活状态的SparkContext,在创建新的SparkContext之前必须调用stop()来关闭之前的SparkContext3. SparkConf包含了Spark集群配置的各种参数,对于一般简单应用,只需要传递下面两个参数:集群URL:告诉Spark如何连接到集群上。比如“local”表示在本地运行,“local[4]”表示以4核..

2020-08-23 17:21:29 341

原创 Spark算子详解及案例分析

原文:https://cloud.tencent.com/developer/article/1085207目录一、分类二、Value型Transformation算子三、Key-Value型Transformation算子输入输出分区1对1聚集连接四、Actions算子一、分类1、Value数据类型的Transformation算子,这种变换不触发提交作业,针对处理的数据项是Value型的数据。   2、Key-Value数据类型的Transformation算

2020-08-22 20:29:26 384

翻译 Spark快速入门

本文主要内容来源于官方Spark Quick Start一、交互式分析1、BasicSpark Shell可以使用scala或python访问,Scala打开方式:./bin/spark-shellPython打开方式:./bin/pyspark

2020-08-22 20:03:47 237

原创 Oracle未启用分区功能处理

新同事安装好数据后,建表时发现未启用分区功能,按照以前的做法都是把数据库重新安装,实际上官方提供了安装后启用分区功能的方法:1)关闭数据库实例2)进入%ORACLE_HOME%/bin目录,执行chopt enable partitioning参考:https://blog.csdn.net/shujudeliu/article/details/46299875http://docs.oracle.com/cd/E11882_01/install.112/e47798/postcf.

2020-08-14 21:05:13 659

原创 初识spark

1.Spark的组成SparkCore:将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。SparkSQL:Spark Sql 是Spark来操作结构化数据的程序包,可以让我使用SQL语句的方式来查询数据,Spark支持 多种数据源,包含Hive表,parquest以及JSON等内容。SparkStreaming:是Spark提供的实时数据进行流式计算的组件。MLlib:提供常用机器学习算法的实现库。GraphX.

2020-08-03 21:39:00 280

原创 Redis内存调优

一、保存内存信息使用redis-cli -a iesapp info memory > memory.txt将内存信息保存到文件二、内存信息含义:# Memoryused_memory:8589737336 由 Redis 分配器分配的内存总量,包含了redis进程内部的开销和数据占用的内存,以字节(byte)为单位used_memory_human:8.00G 以更直观的单位展示分配的内存总量used_memory_rss:13926313984 向操作系统申请的内存大小。与

2020-06-14 21:00:42 3389

sniffer支持win7

sniffer支持win7的,挺不错的软件。NAI公司出品的可能是目前最好的网络协议分析软件之一了,支持各种平台,性能优越,做为一名合格的网络管理员肯定需要有这么一套好的网络协议分析软件了,只是有点大请用下载工具下载。

2013-03-25

MATLAB实用教程_张磊

MATLAB实用教程_张磊,教程讲的比较清楚

2013-09-15

visual_studio2010_开发环境中的c语言编程

visual_studio2010_开发环境中的c语言编程, visual_studio2010的基本使用方法,适合没有接触过 visual_studio2010的朋友

2013-09-29

MATLAB编程基础与典型应用_刘会灯

MATLAB编程基础与典型应用_刘会灯,挺实用的,讲的也比较清楚

2013-09-15

EWB5.0免安装

EWB5.0,里面有使用教程,还有很多使用实例,有数电、模电、以及一些集成电路

2013-09-15

基于systemview的模拟通信系统仿真

基于systemview的模拟通信系统仿真,包含AM、DSB、SSB、FM等等,还包含各种解调方式

2013-09-10

软考高级-系统架构设计师2009-2016历年真题及答案

2009年到2016年所有的真题,其中案例和论文部分都有答案,综合知识部分暂时还没整理答案,祝下载过资源的朋友们都顺利通过考试~~

2017-11-12

伟福单片机编程

单片机编程,安装很方便,也很好用。伟福,很实用的软件

2013-03-24

TDCS系统学习资料

TDCS系统学习资料,有FDF的和CAJ文件,大多是论文,CAJ文件需要安装CAJViewer阅读

2013-10-05

aviator-4.1.2.jar

Aviator——轻量级Java表达式求值引擎,这个是下载下来的jar包,版本是4.1.2

2019-09-11

《Spark机器学习》PDF书籍 + 随书源代码

《Spark机器学习》(南非 Nick Pentreath 著 蔡立宇 黄章帅 周济民 译)一书的PDF版,以及随书的源代码。PDF非常清晰,书中讲解也比较清楚,用spark实现了常用的机器学习算法,相信对你肯定有很大帮助!

2018-07-21

可牛3d相册制作

可牛,3d相册,自己做着玩吧,挺有意思的,供娱乐

2013-03-24

win7 movier

movier,win7的。可以自己制作动画相册,制作小的影片

2013-03-24

sniffer教程.exe

sniffer教程.exe

2013-03-25

pdf到word的转换器

pdf到word的转换器,出错率很低,转换后有的地方说格式不能识别,可以把内容复制到一个新建word中

2013-03-24

高效学习Linux内核.pdf

高效学习Linux内核.pdf

2013-05-12

HTML语言教程

HTML语言教程,exe的,看起来很方便

2013-09-15

CAJViewer 7.2

CAJViewer 7.2,官方版的,网上很多都不能用,搜了好久才找到

2013-10-06

2016年系统架构师论文题真题和答案

2016年软考高级-系统架构设计师论文题的真题和答案,大家一起复习~~

2017-11-12

VMware的windows脚本

VMware的windows脚本,很方便安装的。欢迎大家下载。

2013-03-22

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除