大JAVA解决方案

转载 hbase和hive的一些调优心得

hbase和hive的一些调优心得原创 2016年11月20日 16:01:13标签：hive /hbase /性能调优472Hive优化：1、开启limit，防止过多的数据查询造成时延2、开启严格模式，禁止三种模式的查询（查询全部分区而没有where限制、使用order by查询而没有limit限制，表联结使用on以限制笛卡儿积的查询）3、合理的设置map reduce的个数，不能过多或者过少4...

转载 微服务具备的特性

1. 每个微服务可独立运行在自己的进程里；2. 一系列独立运行的微服务共同构建起了整个系统；3. 每个服务为独立的业务开发，一个微服务一般完成某个特定的功能，比如：订单管理、用户管理等；4. 微服务之间通过一些轻量的通信机制进行通信，例如通过REST API或者RPC的方式进行调用。...

原创 scala 编码

package ht.demo/** * Created by Lenovo on 2018/2/27. */object demo1 { def main(args: Array[String]) { var i=3; i+=1; println(i) for (c <-10 to 20){ if(c==15){ ...

原创 E:\IDEAWORK\scala110\out\artifacts\scala110_jar

转载 HBase读性能优化策略

HBase读性能优化策略转载 2017年03月07日 20:45:49标签：hbase /性能优化312任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟...

转载 优化hbase的查询提升读写速率优化案例及性能提升的几种方法

优化hbase的查询提升读写速率优化案例及性能提升的几种方法原创 2016年12月13日 23:14:092053在初期，我们采用的逻辑是：将A表中的数据读取一行，根据其中的某个字段去组织一个GET，然后立刻提交，从B表取得要查询的字段的值，组织成一个PUT，并提交到A表。那么这么做的话，1.完全发挥不出hbase的效率的原因是什么？--------------------------------...

转载 Hbase万亿级存储性能优化总结

【HBase调优】Hbase万亿级存储性能优化总结转载 2017年04月08日 12:06:412156【HBase调优】Hbase万亿级存储性能优化总结2017-04-07背景：HBase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，HBase入库也由最初的单机多线程升级...

转载 hbase性能优化大全,很全,很牛

hbase性能优化大全,很全,很牛转载 2014年08月07日 15:37:11标签：hbase /hbase优化1231HBase性能优化方法总结（一）：表的设计本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Cre...

转载 HBase性能优化方法总结（1）：配置优化

【转载】HBase性能优化方法总结（1）：配置优化原创 2012年04月17日 16:13:04标签：hbase /性能优化 /优化 /cms /optimization /compression3020配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServ...

转载 HBase性能优化方法总结（2）：表的设计

【转载】HBase性能优化方法总结（2）：表的设计原创 2012年04月17日 17:32:22标签：hbase /性能优化 /byte /table /存储 /string5105本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1....

转载 HBase性能优化方法总结（3）：写表操作

【转载】HBase性能优化方法总结（3）：写表操作原创 2012年04月17日 17:34:02标签：hbase /性能优化 /buffer /thread /table /多线程6954本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容：写表操作相关的优化方法。2. 写表操...

转载 HBase性能优化方法总结（4）：读表操作

【转载】HBase性能优化方法总结（4）：读表操作原创 2012年04月17日 17:35:26 标签：hbase /性能优化 /string /exception /parallel /null 6867本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容：读表操作相关的优化...

转载 用Java访问带有Kerberos认证的HBase

用Java访问带有Kerberos认证的HBase标签： HBase java2016年07月19日 18:26:41 6475人阅读 评论(0) 收藏 举报 分类：java 基础（48）  HBase（26） 开始之前   因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。 ...

转载 通过java客户端连接hbase 注意事项

 通过java客户端连接hbase 注意事项标签： hbase2016年11月17日 10:43:07 3123人阅读 评论(0) 收藏 举报版权声明：本文为博主原创文章，未经博主允许不得转载。1、通过java客户端连接hbase，其中hbase通过zookeeper去管理，需要注意的是客户端端口。     通过在浏览器端输入地址查看：http://192.168.3.206:60010/mast...

转载 JAVA安全客户端连接到Hbase

JAVA安全客户端连接到Hbase原创 2015年03月13日 13:38:14标签：java /hbase /安全2753Hbase提供多种开发语言的API，通常我们通过JAVA API连接到Hbase只需要在HbaseConfiguration中配置zookeeper的相关信息就可以，配置如下：[java] view plain copyHBaseConfiguration hbaseConf...

转载 如何通过JAVA客户端访问Hbase

版权声明：本文为博主原创文章，未经博主允许不得转载。直接上代码代码块package com.raiyi.app.dao;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apa...

转载 Java客户端操作HBase代码

Java客户端操作HBase代码原创 2016年06月17日 16:53:442566package com.cys.zdzn;import java.io.IOException;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfigu...

转载 JUnit神奇的报错 java.lang.Exception:No tests found matching

 谈一谈JUnit神奇的报错 java.lang.Exception:No tests found matching标签： junit spring mvc spring 报错2016年12月21日 10:17:36 13774人阅读 评论(7) 收藏 举报 分类：问题（21）  Spring（11）  MyBatis（5）  maven（11） 版权声明：本博客为学习笔记 欢迎大家学习交流 原创...

转载 HBase Shell工具操作HBase

HBase Shell工具操作HBase原创 2015年11月24日 18:30:30标签：shell /hbase /ruby /安全3285HBase的shell工具是常用的工具，运维过程的DDL和DML都会通过此进行，其具体实现是用Ruby语言编写的，并且使用了JRuby解释器。该工具模式有两种常用的模式：交互模式和命令批处理模式。交互模式用于随机访问，而命令批处理模式通过使用shell编程...

原创 get

hbase(main):015:0> get 't10', 'row1'COLUMN                        CELL                                                                                f10:colum1                   timestamp=15196473...

原创 hbase shell

[wangshumin@centoshostnameKL1 bin]$ hbaseUsage: hbase [<options>] <command> [<args>]Options:  --config DIR    Configuration direction to use. Default: ./conf  --hosts HOSTS   Overrid...

转载 hbase shell删除键不听使唤，删除的是光标后面

hbase shell删除键不听使唤，删除的是光标后面用Xshell登陆linux主机后，在hbase shell下死活不能使用backspace和delete删除误输的指令。摸索了一下，在File->Properties-的>Terminal->Keyboard下，把DELETE/BACKSPACE key sequence选为ASCII 127(Ctrl+?)。这样在hbas...

原创 hbase启动

drwxr-xr-x.  4 wangshumin wangshumin   4096 2月  10 19:33 bin-rw-r--r--.  1 wangshumin wangshumin 108389 3月  29 2016 CHANGES.txtdrwxr-xr-x.  2 wangshumin wangshumin   4096 2月  10 19:34 confdrwxr-xr-x. ...

转载 scala 执行Windows命令

转载 Scala compile server Error: Could not create the Java Virtual Machine.Error: A fatal exception

Scala compile server Error: Could not create the Java Virtual Machine.Error: A fatal exception 在IDEA中编写Scala程序报错 [plain] view plain copyScala compile server      Error: Could not create the Java Virtu...

转载 系统的java 切换到自己配置的java

[wangshumin@CentOSNode3 ~]$ java -versionopenjdk version "1.8.0_161"OpenJDK Runtime Environment (build 1.8.0_161-b14)OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)[wangshumin@CentOSNode3 ~]$ ...

转载 Storm-源码分析汇总

Storm-源码分析汇总转载 2014年08月06日 17:24:3510125Storm FeaturesStorm 简介Storm Topology的并发度Storm - Guaranteeing message processingStorm - Transactional-topologiesTwitter Storm – DRPCStorm 多语言支持 Storm StarterStor...

转载 Storm1.0支持HA集群部署（HA）

storm1.0.2下载地址http://archive.apache.org/dist/storm/apache-storm-1.0.2/apache-storm-1.0.2.tar.gzstorm ha集群规划Nimbus ：192.168.175.141(active), 192.168.175.142Supervisor：192.168.175.141, 192.168.175.1...

转载 Storm Nimbus的HA，Storm在1.0之后对nimbus支持了HA

Storm Nimbus的HA aiguang2016 关注2016.12.15 00:16* 字数 1101 阅读 1233评论 0喜欢 2Storm在1.0之后对nimbus支持了HA，根据官方提供的文档，同样是利用了zk来做分布式锁，并且配置文件中新增了storm.seeds，而原来的storm.hosts改为deprecated。但是nimbus如果想成为leader，必须有一个先决条件就...

转载 strom中worker、task、spout/bolt、executor、component的关系

strom中worker、task、spout/bolt、executor、component的关系转载 2014年08月27日 11:01:11标签：storm6030转载：http://blog.csdn.net/fzhmoive/article/details/38753135谢谢分享。storm学习网站：http://chenlx.blog.51cto.com/4096635/d-1/p-...

转载 storm UI界面各参数全解

storm UI界面各参数全解原创 2014年09月22日 11:10:396588Storm UI（Storm UI首页)Cluster Summary（集群概况）Version（版本）Nimbus uptime（nimbus运行时长）Supervisors（supervisor节点数）Used slots（集群上已被使用的slots数目） Free slots（集群上空闲的slots数目）To...

转载 Storm ui 首页主要分为4块: Cluster Summary，Topology summary，Supervisor summary，Nimbus Configuration，如下图所示：

Storm ui 展示字段说明Storm ui 首页主要分为4块: Cluster Summary，Topology summary，Supervisor summary，Nimbus Configuration，如下图所示： Cluster SummaryVersion: storm 版本号Nimbus uptime: nimbus 运行时间Supervisor:storm集群中supervis...

转载 Linux 查看系统信息命令 cpu、内存、进程、硬盘、网卡

系统# uname -a               # 查看内核/操作系统/CPU信息# head -n 1 /etc/issue   # 查看操作系统版本# cat /proc/cpuinfo      # 查看CPU信息# hostname               # 查看计算机名# lspci -tv              # 列出所有PCI设备# lsusb -tv       ...

转载 Linux系统下如何查看CPU个数

Linux系统下如何查看CPU个数查看逻辑CPU个数：#cat /proc/cpuinfo |grep "processor"|sort -u|wc -l24 查看物理CPU个数：#grep "physical id" /proc/cpuinfo|sort -u|wc -l                   2#grep "physical id" /proc/cpuinfo|sort -u  ...

转载 linux查询内存、CPU、硬盘等系统信息的命令

linux查询内存、CPU、硬盘等系统信息的命令转载wdy1986222016-02-03 11:21:15评论(0)93人阅读一、linux CPU大小[root@idc ~]# cat /proc/cpuinfo |grep "model name" && cat/proc/cpuinfo |grep "physical id"model name: Intel(R) Xeon...

转载 Jstorm2.1.1集群安装

Jstorm2.1.1集群安装http://qindongliang.iteye.com/blog/2316201博客分类： stormjstorm Strom是什么？ storm是Twitter开源的的一个分布式的，容错的实时流计算系统，用来处理大数据系统中一些实时计算业务。strom本身是一个类似Hadoop的MapReduce的计算框架，最大不同在于storm是一个启动后不会停止的服务，除非...

转载 Storm是一个分布式的、高容错的实时计算系统。

1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成，还是Zookeeper集群完成？6.storm稳定的原因是什么？7.如何运行Topology？str...

转载 Storm如何保证这些数据不被重复计算？

推荐慕课网视频：http://www.imooc.com/video/10055 另外，关于Storm并发度，已经整理到另一篇博客中，希望对读者有所帮助。请参考：http://www.cnblogs.com/quchunhui/p/8271349.html ====Storm的起源。Storm是开源的、分布式、流式计算系统 什么是分布式呢？就是将一个任务拆解给多个计算机去执行，让许多机器共通完成同...

转载 storm入门简介及WordCount代码解析（一）

storm入门简介及WordCount代码解析（一）原创 2017年07月14日 21:38:02标签：storm /大数据1701.storm概述在大数据中数据处理有两种基本的方式：批处理和实时流处理，在大数据组件中，Hadoop中的MapReduce可以处理批处理，对应的Strom即为处理实时流数据的组件。 Storm是一个开源的分布式实时计算系统。2.Storm集群的基本架构如果你对Hado...

原创 storm命令

[wangshumin@centoshostnameKL1 bin]$ storm jar learnStorm-1.0-SNAPSHOT.jar cn.itcast.storm.wordcount.StormTopologyDriverRunning: /home/wangshumin/app/jdk1.7.0_65/bin/java -client -Dstorm.options= -Dsto...