2017年05月_往事随风ing

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [Java进阶]-- 修改idea的jvm参数

一、JVM参数设置JVM内存的参数有四个：-Xmx Java Heap最大值，默认为物理内存的四分之一 -Xms Java Heap初始值，最好将-Xmx和-Xms设置为相同值，避免垃圾回收时由于差值造成时间开销增大 -Xmn Java Heap Young区大小，最好保留默认值 -Xss 每隔线程Stack的大小，最好保留默认值二、修改Idea JVM参数打开idea的安装目...

2017-05-31 17:19:44 15001 1

转载 [Java进阶]-- 正确使用Volatile变量

Java 语言中的 volatile 变量可以被看作是一种 “程度较轻的 synchronized”；与 synchronized 块相比，volatile 变量所需的编码较少，并且运行时开销也较少，但是它所能实现的功能也仅是 synchronized 的一部分。本文介绍了几种有效使用 volatile 变量的模式，并强调了几种不适合使用 volatile 变量的情形。锁提供了两种主要特...

2017-05-27 14:51:19 435

原创 [Phoenix基本命令]--phoenix命令汇总

phoenix-4.7.0命令汇总!all Execute the specified SQL against all the current connections!autocommit Set autocommit mode on or off!batch Start or execute a batch of sta...

2017-05-26 18:03:21 4965

原创 [CDH与maven依赖]-- CDH对应组件版本和maven引入方法

一、CDH对应组件版本https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_58.html#concept_vd0_ydn_yk 二、使用maven引入对应组件版本https://www.cloudera.com/documenta...

2017-05-24 16:21:21 5175

原创 [Idea排错]-- idea中dependencies中总是有红色波浪线

使用IDEA进行maven开发时，将新项目import进工作空间时，Maven Projects栏中的dependencies中总是有红色波浪线，如下图：分析：缺少jar包，或者jar错误解决：进入项目结构中修改即可：先删除红色波浪线jar依赖，再添加即可 ...

2017-05-19 10:59:25 7101

原创 [Hadoop shell命令]--处理hdfs上错误的block块并修复

情景：运行Spark程序出现报错1、报错信息：17/05/09 14:30:58 WARN scheduler.TaskSetManager: Lost task 28162.1 in stage 0.0 (TID 30490, 127.0.0.1): java.io.IOException: Cannot obtain block length for LocatedBlock{BP-20353...

2017-05-18 11:45:27 15857 4

原创 [Spark基础]-- spark并行度和partion联系

一、问题1、怎样提高并行度？几种方式：(1)reduce时，输入参数(int) (2)partitionBy()输入分区数 (3)SparkContext.textFile(path,num)2、什么情况下需要提高并行度？(1).partition的个数是split size决定的，spark的底层还是用的hadoop的fileformat，当你制定了一个可以切分的forma...

2017-05-17 10:03:38 4490 1

原创 [Hadoop基础]-- java代码Kerberos认证错误（hadoop本地库问题）

一、信息2017-05-16 11:58:45 [ main:0 ] - [ WARN ] org.apache.hadoop.util.NativeCodeLoader.<clinit>(NativeCodeLoader.java:62) Unable to load native-hadoop library for your platform... using builti...

2017-05-16 14:48:38 1458

翻译 [Freemarker基础]-- 标签库说明

A | B | C | D | E | F | H | L | M | O | P | R | S | T | U | W | X属性关于XML或HTML（或通常为SGML），属性是与元素相关联的命名值。例如，在，属性是和。左侧是属性的名称，右侧是属性的值。请注意，在XML中，值必须引用（例如：），而在HTML中，这些值对于某些值是可选的。<bo...

2017-05-14 11:12:34 1594

翻译 [Freemaker基础]-- 官方文档

什么是Apache FreeMarker？Apache FreeMarker是一个模板引擎：基于模板和更改数据生成文本输出（HTML网页，电子邮件，配置文件，源代码等）的Java库。模板是使用FreeMarker模板语言（FTL）编写的，这是一种简单的专业语言（不是像PHP这样的全面的编程语言）。您的意图是准备数据以真正的编程语言显示，例如问题数据库查询和进行业务计算，然后模板显示已准备好的数...

2017-05-13 16:41:24 879

原创 [Zookeeper]-- zookeeper添加acl认证

设置zookeeper的ACL权限步骤1、创建节点create /mytest ouracl2、设置用户名称和密码addauth digest test0002:hehehehehe //测试机器：10.10.100.92 的zookeeperaddauth digest bgp_acl_user:Ngaacomcn@123@20170327 //测试机器：10.10.100....

2017-05-11 10:01:19 7569

转载 [Dubbox基础]-- 文档

一、网址官方：https://github.com/dangdangdotcom/dubbox参考：https://www.douban.com/note/488997143/ 二、说明1、问题：https://github.com/dangdangdotcom/dubbox/issues2、主要： Dubbox now means Dubbo eXtensions...

2017-05-11 08:53:56 3096

转载 [Dubbo基础]-- 文档

官方网站：http://dubbo.io/参考配置：使用者指南：http://dubbo.io/user-guide/ 开发者指南：http://dubbo.io/developer-guide/ 管理员指南：http://dubbo.io/admin-guide/新版地址：https://www.gitbook.com/@dubbo D...

2017-05-11 08:47:38 2955 1

原创 [Impala基础]-- 查看impala分区命令

1、命令SHOW PARTITIONS TABLE_NAME;2、分区对应mysql表中的信息在hivemetastore数据库中的PARTITIONS表里面

2017-05-10 17:39:27 9171

原创 [Hadoop基础]-- 验证hadoop本地库是否加载成功

1、验证本地库是否加载成功的命令如下#hadoop checknative 2、验证成功的结果

2017-05-10 11:23:12 693

原创 [Spark基础]-- spark-submmit视频(2017年2月8日-9日)

1、官方：https://spark-summit.org/east-2017/2、日程：https://spark-summit.org/east-2017/schedule/3、视频：（1）https://spark-summit.org/east-2017/schedule/ -------》跳转到youtube（2）大佬视频：https://spark-summit.org...

2017-05-03 14:30:03 710

原创 [Spark基础]-- spark submmit大会(2017年6月5日 - 7日)

Spark Summit（2017年6月5日 - 7日，旧金山）议程发布 1、官方：http://spark.apache.org/news/spark-summit-june-2017-agenda-posted.html2、议程：https://spark-summit.org/2017/schedule/3、报名：https://prevalentdesignevents.c...

2017-05-03 13:57:26 3460

原创 [面试汇总]-- 高级java工程师笔试题

判断题1、UDP协议可以保持包的发送序列，TCP不能2、UDP有连接，建立需要三次握手3、71.86.162.0和71.86.160.0 NETMASK 255.254.0.0在同一网段中4、64位计算机使用32位操作系统，一个进程可以使用8G物理内存5、快速排序时间复杂性O(N^2)6、一个线程只可以属于一个进程7、BASE64可以用来对数据加密8、RSA是非对称加密算法填空...

2017-05-03 09:37:59 2238